Azt a kérdést, hogy tiltsuk-e az MI-crawlereket, műszaki kérdésként szokás feltenni, pedig nem az. Maga a tiltás néhány sor konfiguráció, tíz perc alatt kész. A nehéz rész az, hogy eldöntsd, egyáltalán akarod-e, és ez a döntés üzleti: azt választod meg, hogy a tartalmadat védd a modellek tanításától, vagy jelen legyél azokban a válaszokban, amelyeket az emberek ma egy találati lista helyett kapnak.

Az interneten olvasható tanácsok többsége oldalt választ, aztán már csak amellett érvel. Az őszinte állítás másképp hangzik: a helyes válasz üzleti modellenként más, és egy oldalletöltésekből élő kiadónak meg egy ajánlatkérésekből élő ügynökségnek ellentétes következtetésre kell jutnia.

Az alku egyetlen mondatban: ha tiltod az MI-crawlereket, azzal megakadályozod a tartalmad beolvasását, és ezzel együtt azt is, hogy hivatkozzanak rád. Ha a bevételed azon múlik, hogy emberek megérkeznek az oldaladra, a tiltás megvéd. Ha azon múlik, hogy tudjanak a létezésedről, és utána megkeressenek, a tiltás kivesz pontosan arról a felületről, ahol ez a felfedezés egyre gyakrabban történik.

Mit változtatott meg valójában a Cloudflare

Az alapértelmezés megfordult. 2025. július 1-jén a Cloudflare az első nagy infrastruktúra-szolgáltató lett, amely alapértelmezés szerint tiltja az MI-crawlereket , és a kimaradásos modellről egy kifejezett hozzájárulást kérő modellre váltott. Az új domainektől már a felvételkor megkérdezi, hogy az MI-crawlerek begyűjthetik-e a tartalmukat, az MI-cégeknek pedig mostantól kimondott engedély kell, nem elég a visszautasítás hiánya.

Ez jóval a Cloudflare saját ügyfélkörén túl is számít, mert a webes forgalom jelentős része ezen a hálózaton megy át. Egy alapértelmezés nem szabály, de egy ekkora léptékben alkalmazott alapértelmezés átírja, mit tekinthetnek az MI-cégek magától értetődőnek.

Az eszköz neve AI Crawl Control , és minden csomagban elérhető, az ingyenesben is. Megmutatja, mely MI-szolgáltatások érik el a tartalmadat, crawlerenként engedélyező vagy tiltó szabályt tehetsz be, és ellenőrizheted, hogy egy adott crawler betartja-e a robots.txt utasításait. A valódi haszon az, hogy még bármilyen döntés előtt látod a forgalmat, és a legtöbb oldaltulajdonos soha nem nézett rá.

A Cloudflare arra is rászorította a crawlereket, hogy megadják a céljukat. Így megkülönböztethető a modellt tanító bot attól, amelyik egy élő válaszhoz tölt le oldalt, és attól, amelyik keresés céljából indexel. Ez három nagyon különböző alku, és nemrégiben még megkülönböztethetetlenül érkeztek.

A pénzmodell 2026 júliusában újra megváltozott

Itt vált tévessé minden tavaly írt tanács.

A Pay Per Crawl 2025-ben indult piactérként, ahol a kiadók letöltésenként számláztak az MI-cégeknek. 2026. július 1-jén a Cloudflare elégtelennek nyilvánította ezt a modellt, és áttért a Pay Per Use megoldásra , amely akkor fizet, amikor a tartalmad egy válaszon belül értéket teremt, nem akkor, amikor egy bot letölt egy oldalt.

Az indoklás egyből érthető, amint meglátod a számot: az MI-crawlerek forgalmának több mint 50%-a olyan oldalakat tölt le újra, amelyek nem változtak. A letöltésenkénti számlázás tehát nagyrészt pazarlást számláz. Az, hogy akkor fizetnek, amikor a tartalom megjelenik egy válaszban, viszont pontosan azt számlázza, ami valóban kiváltotta a látogatást az oldaladon.

Korai szakasz ez még. Az indulópartnerek a Ceramic.ai és a You.com, tehát ez egy kis brit vállalkozásnak még nem széles bevételi forrás. Kezeld inkább irányként, ne a jövő évi költségvetés egyik soraként.

Van még egy határidő, amit érdemes beírni a naptárba. 2026. szeptember 15-től a vegyes célú crawlereket alapértelmezés szerint tiltja a rendszer a hirdetést tartalmazó oldalakon, hacsak az oldal tulajdonosa át nem állítja a beállítást. Ha hirdetéseket futtatsz, és számítasz az MI-től érkező forgalomra, ez az alapértelmezés úgy vonatkozik rád, hogy közben te semmit sem teszel.

Mibe kerül valójában a tiltás

Három dologba, és csak az első nyilvánvaló.

Elveszíted a hivatkozásokat. Az MI-válaszok megnevezik a forrásokat. Ezek között szerepelni a mai megfelelője annak, hogy az első találati oldalra kerülsz, és egy kitiltott crawler nem hivatkozhat arra, amit nem olvashat. A generatív keresőoptimalizálásról szóló útmutatónk leírja, mivel lehet hivatkozást kiérdemelni, ha már a láthatóság mellett döntöttél.

Elveszíted a mérést. A letiltott forgalom nem veszteségként jelenik meg a kimutatásaidban. Semmiként jelenik meg, ez pedig megkülönböztethetetlen attól, mintha soha nem is lett volna. Az korán tiltó oldalak jellemzően nem tudják megmondani, mibe került nekik, mert az összehasonlítási alapot soha nem rögzítette senki.

A tanítást valójában nem állítod meg. Ha a jól nevelt crawlereket tiltod, azokat, amelyek bemutatkoznak és betartják a robots.txt előírásait, épp azokat zárod ki, akik hajlandók szabályt követni. A már beolvasott tartalom beolvasva marad, a robots.txt utasításait figyelmen kívül hagyó lehúzók pedig soha nem is tartoztak a körbe. Csak az udvarias részhalmaz viselkedését alakítod.

Ezzel szemben a tiltás valóban megvéd egy olyan vállalkozást, amelynek maga a tartalom a terméke. Egy előfizetéses kiadó, egy jelentéseket áruló kutatócég, egy képügynökség: nekik az a válasz, amely összefoglalja a tartalmat, közvetlen helyettesítője az eladásnak, a forrásmegjelölés pedig gyenge kárpótlás érte.

Hogyan döntsd el, tiltod-e az MI-crawlereket

Kérdezd meg, mennyit ér egy látogató, és milyen úton lesz belőle ügyfél.

Tiltsd, ha a tartalom maga a termék. Fizetőfal mögötti újságírás, pénzért árult kutatás, licencelt referenciaadat. Az MI-válasz közvetlenül az eladásoddal versenyez.

Engedd, ha a tartalom valami más marketingje. Egy szoftverügynökség, egy tanácsadó cég, egy ügyvédi iroda, egy klinika. A bejegyzéseid azért vannak, hogy a vevők észrevegyék: meg tudod oldani a problémájukat. Ha megneveznek egy válaszban, az pontosan az az ismertség, amiért amúgy is fizettél, a megkeresésnek pedig továbbra is hozzád kell befutnia.

Engedd válogatva, ha valahol a kettő között vagy. A crawlerenkénti szabályokkal elfogadhatod a keresési indexelést, és elutasíthatod a tanítást. Ez védhető középút, mióta a cél deklarált.

A legtöbb vállalkozásnak, amely ezt olvassa, az a válasz, hogy engedje. A tiltás ösztöne védekező és érthető, ám többnyire olyan tartalmat véd, amelynek nincs önálló kereskedelmi értéke, közben pedig elvágja azt a felfedezési csatornát, amelynek táplálására a tartalom készült.

Hol kezdd

Nézd meg a forgalmat, mielőtt bármit átállítanál. Az AI Crawl Control minden csomagban megmutatja, mely crawlerek érkeznek hozzád és milyen gyakran. Egy hónapnyi ilyen adat világnézeti vitából egyszerű számtani feladatot csinál.

Utána crawlerenként dönts, ne egyben, és írd le a döntést dátummal együtt, mert ez a terület 14 hónap alatt kétszer változott, és változni fog megint.

A Mecanik olyan technikai SEO auditokat végez, amelyek a szokásos ellenőrzések mellett kiterjednek az MI-crawlerek hozzáférésére és a hivatkozásokban való láthatóságra, a konfigurációt pedig a webfejlesztő csapatunkkal állítjuk be. Ha jó helyen állsz a találatok között, mégsem jelensz meg soha az MI-válaszokban, elsőként a crawlerek hozzáférését érdemes kizárni.

Kapcsolódó bejegyzések: MI-SEO ügynökség: mit csinál és mennyibe kerül , A Google AI Mode és a webhely forgalma , WordPress feltörve: kártevő eltávolítása és mentés és Cloudflare weboldal sebesség: 2026-os útmutató .

Gyakran ismételt kérdések

Tiltsam az MI-crawlereket a weboldalamon? Teljes egészében attól függ, miből keresel pénzt. Tiltsd, ha a tartalom maga a termék, például fizetőfal mögötti újságírásnál vagy pénzért árult kutatásnál, mert az MI összefoglalója helyettesíti az eladást. Engedd, ha a tartalom egy szolgáltatás marketingje, mert ha hivatkoznak rád egy válaszban, az pontosan az az ismertség, amiért a szöveg készült, a megkeresés pedig továbbra is hozzád fut be.

Az MI-crawlerek tiltása megakadályozza, hogy a tartalmamat tanításra használják? Csak részben. A jól nevelt crawlereket állítja meg, azokat, amelyek bemutatkoznak és betartják a robots.txt előírásait, vagyis pontosan azt a részhalmazt, amelyik hajlandó szabályt követni. A már beolvasott tartalom beolvasva marad, a robots.txt utasításait figyelmen kívül hagyó lehúzókat pedig soha nem érintette. Az udvarias crawlereket alakítod, nem az összeset.

Mi az a Cloudflare AI Crawl Control? A Cloudflare funkciója, minden csomagban elérhető, az ingyenesben is, amellyel láthatod, mely MI-szolgáltatások érik el a webhelyedet, crawlerenként engedélyező vagy tiltó szabályt állíthatsz be, és nyomon követheted, betartja-e mindegyik a robots.txt előírásait. Támogatja a letöltésenkénti díjszabást is. A leghasznosabb az benne, hogy bármilyen döntés előtt megmutatja a forgalmat.

Mi váltotta fel a Cloudflare Pay Per Crawl megoldását? A Pay Per Use, amelyet 2026. július 1-jén jelentettek be. Ahelyett, hogy az MI-cégek minden egyes oldalletöltés után fizetnének, a kiadók akkor kapnak pénzt, amikor a tartalmuk egy válaszon belül értéket teremt. A Cloudflare indoklása az volt, hogy az MI-crawlerek forgalmának több mint 50%-a változatlan oldalakat tölt le újra, tehát a letöltésenkénti számlázás nagyrészt pazarlást számlázott. Az indulópartnerek a Ceramic.ai és a You.com.

Mi történik 2026. szeptember 15-én? A Cloudflare alapértelmezés szerint tiltani kezdi a vegyes célú MI-crawlereket a hirdetést tartalmazó oldalakon, hacsak az oldal tulajdonosa át nem állítja a beállítást. A vegyes cél azt jelenti, hogy a crawler nem választja szét a keresési indexelést a tanítástól és az ügynöki forgalomtól. Ha hirdetéseket futtatsz, és az MI-től érkező átirányításokra támaszkodsz, ez az alapértelmezés a te részedről minden lépés nélkül érvényes lesz rád.