Ob man KI-Crawler blockieren soll, wird als technische Frage verkauft, und das ist sie nicht. Das Blockieren selbst sind ein paar Zeilen Konfiguration, die in zehn Minuten erledigt sind. Schwierig ist die Entscheidung, ob Sie das überhaupt wollen, und diese Entscheidung ist kaufmännisch: Sie wählen zwischen dem Schutz Ihrer Inhalte vor dem Training fremder Modelle und Ihrer Präsenz in den Antworten, die Menschen heute anstelle einer Trefferliste bekommen.

Die meisten Ratgeber im Netz beziehen Position und argumentieren danach nur noch dafür. Ehrlich ist eine andere Aussage: Die richtige Antwort hängt vom Geschäftsmodell ab. Ein Verlag, der von Seitenaufrufen lebt, und eine Agentur, die von Anfragen lebt, müssen zu gegenteiligen Ergebnissen kommen.

Der Handel in einem Satz: Wer KI-Crawler blockiert, verhindert, dass die eigenen Inhalte eingelesen werden, und verhindert damit zugleich, dass sie zitiert werden. Wenn Ihr Umsatz davon abhängt, dass Menschen auf Ihrer Seite landen, schützt Sie das Blockieren. Wenn Ihr Umsatz davon abhängt, dass Menschen wissen, dass es Sie gibt, und Sie danach kontaktieren, nimmt Blockieren Sie von genau der Fläche, auf der diese Entdeckung immer häufiger stattfindet.

Was Cloudflare tatsächlich geändert hat

Die Voreinstellung hat sich gedreht. Am 1. Juli 2025 wurde Cloudflare der erste große Infrastrukturanbieter, der KI-Crawler standardmäßig blockiert , und wechselte damit von einem Opt-out-Modell zu einem Opt-in-Modell. Neue Domains werden gleich beim Anlegen gefragt, ob KI-Crawler sie auslesen dürfen, und KI-Unternehmen brauchen jetzt eine ausdrückliche Erlaubnis statt lediglich das Ausbleiben einer Absage.

Das wirkt weit über Cloudflares eigene Kundschaft hinaus, weil ein großer Teil des Web-Verkehrs durch dieses Netz läuft. Eine Voreinstellung ist keine Regel, aber eine Voreinstellung in dieser Größenordnung verschiebt, wovon KI-Unternehmen überhaupt ausgehen dürfen.

Das Werkzeug dazu heißt AI Crawl Control und steht in allen Tarifen zur Verfügung, auch im kostenlosen. Sie sehen dort, welche KI-Dienste Ihre Inhalte abrufen, setzen Erlaubnis- oder Sperrregeln pro Crawler und prüfen, ob ein bestimmter Crawler robots.txt überhaupt beachtet. Der eigentliche Nutzen liegt darin, den Verkehr zu sehen, bevor Sie irgendetwas entscheiden. Die meisten Website-Betreiber haben nie hingeschaut.

Cloudflare hat die Crawler außerdem gedrängt, ihren Zweck anzugeben. So lässt sich ein Bot, der ein Modell trainiert, von einem unterscheiden, der für eine laufende Antwort abruft, und von einem, der für die Suche indexiert. Das sind drei sehr unterschiedliche Geschäfte, und bis vor Kurzem kamen sie ununterscheidbar bei Ihnen an.

Das Geldmodell hat sich im Juli 2026 erneut geändert

An dieser Stelle ist jeder Ratgeber aus dem Vorjahr inzwischen falsch.

Pay Per Crawl startete 2025 als Marktplatz, auf dem Publisher KI-Unternehmen pro Abruf abrechneten. Am 1. Juli 2026 erklärte Cloudflare dieses Modell für unzureichend und stellte auf Pay Per Use um , das dann zahlt, wenn Ihre Inhalte innerhalb einer Antwort Wert erzeugen, und nicht dann, wenn ein Bot eine Seite herunterlädt.

Die Begründung leuchtet sofort ein, sobald man die Zahl sieht: Über 50 % des KI-Crawler-Verkehrs ruft Seiten erneut ab, die sich gar nicht geändert haben. Pro Abruf abzurechnen stellt also überwiegend Verschwendung in Rechnung. Abzurechnen, wenn Inhalte in einer Antwort auftauchen, trifft dagegen genau das, was den Besuch auf Ihrer Seite ersetzt hat.

Es ist früh. Die Startpartner sind Ceramic.ai und You.com, das ist also noch keine breite Einnahmequelle für ein kleines britisches Unternehmen. Behandeln Sie es als Richtung, in die sich der Markt bewegt, und nicht als Position im Budget des nächsten Jahres.

Es gibt außerdem eine Frist, die in den Kalender gehört. Ab dem 15. September 2026 werden Crawler mit gemischtem Zweck auf Seiten mit Werbung standardmäßig blockiert, sofern der Betreiber die Einstellung nicht ändert. Wer Werbung ausspielt und auf Verweise aus KI-Antworten angewiesen ist, bekommt diese Voreinstellung, ohne selbst etwas zu tun.

Was Blockieren wirklich kostet

Drei Dinge, und nur das erste liegt auf der Hand.

Sie verlieren Zitate. KI-Antworten nennen Quellen. Zu diesen Namen zu gehören ist das heutige Gegenstück zu einer Platzierung auf Seite eins, und ein gesperrter Crawler kann nicht zitieren, was er nicht lesen darf. Unser Leitfaden zur Generative Engine Optimization beschreibt, womit man ein Zitat verdient, sobald die Entscheidung für Sichtbarkeit gefallen ist.

Sie verlieren die Messung. Blockierter Verkehr taucht in Ihren Auswertungen nicht als Verlust auf. Er taucht als nichts auf, und das ist nicht davon zu unterscheiden, ihn nie gehabt zu haben. Wer früh blockiert hat, kann meist nicht sagen, was es gekostet hat, weil der Vergleichsfall nie aufgezeichnet wurde.

Sie stoppen das Training nicht wirklich. Wer die gut erzogenen Crawler sperrt, die sich zu erkennen geben und robots.txt beachten, sperrt genau die aus, die bereit sind, Regeln zu befolgen. Bereits eingelesene Inhalte bleiben eingelesen, und Scraper, die robots.txt ignorieren, waren nie erfasst. Sie steuern damit nur das Verhalten der höflichen Teilmenge.

Dem steht gegenüber, dass Blockieren ein Geschäft tatsächlich schützt, dessen Produkt der Inhalt selbst ist. Ein Verlag mit Abomodell, ein Marktforschungshaus, das Studien verkauft, eine Bildagentur: Für die ist eine KI-Antwort, die den Inhalt zusammenfasst, ein direkter Ersatz für den Verkauf, und eine Quellenangabe ist dafür ein schwacher Trost.

Wie Sie entscheiden, ob Sie KI-Crawler blockieren

Fragen Sie, was ein Besucher wert ist und auf welchem Weg er zum Kunden wird.

Blockieren, wenn der Inhalt das Produkt ist. Journalismus hinter der Bezahlschranke, bezahlte Studien, Referenzdaten, die Sie lizenzieren. Die KI-Antwort konkurriert unmittelbar mit Ihrem Verkauf.

Zulassen, wenn der Inhalt Marketing für etwas anderes ist. Eine Softwareagentur, eine Beratung, eine Kanzlei, eine Praxis. Ihre Beiträge existieren, damit Käufer überhaupt merken, dass Sie ihr Problem lösen können. In einer Antwort genannt zu werden ist genau die Aufmerksamkeit, für die Sie ohnehin bezahlt haben, und die Anfrage muss immer noch bei Ihnen ankommen.

Selektiv zulassen, wenn Sie irgendwo dazwischen liegen. Regeln pro Crawler erlauben es, die Indexierung für die Suche zuzulassen und das Training abzulehnen. Das ist eine vertretbare Mittelposition, seit der Zweck deklariert wird.

Für die meisten Unternehmen, die das hier lesen, lautet die Antwort: zulassen. Der Reflex zu blockieren ist verständlich und schützend, und er schützt meist Inhalte ohne eigenständigen kommerziellen Wert, während er den Entdeckungskanal kappt, für den diese Inhalte überhaupt geschrieben wurden.

Womit Sie anfangen

Schauen Sie sich den Verkehr an, bevor Sie etwas ändern. AI Crawl Control zeigt in jedem Tarif, welche Crawler bei Ihnen ankommen und wie oft. Ein Monat dieser Daten macht aus einem weltanschaulichen Streit eine schlichte Rechenaufgabe.

Entscheiden Sie danach pro Crawler statt pauschal, und schreiben Sie die Entscheidung mit Datum auf, denn dieser Bereich hat sich in 14 Monaten zweimal geändert und wird sich wieder ändern.

Mecanik führt technische SEO-Audits durch, die den Zugang für KI-Crawler und die Sichtbarkeit in Zitaten neben den üblichen Prüfungen abdecken, und setzt die Konfiguration mit unserem Team für Webentwicklung um. Wenn Sie gut ranken und trotzdem nie in KI-Antworten auftauchen, ist der Crawler-Zugang das Erste, was Sie ausschließen sollten.

Siehe auch: KI-SEO-Agentur: Leistungen und Preise , Google AI Mode und Ihr Website-Traffic , WordPress gehackt: Schadsoftware sicher entfernen und Cloudflare Website-Speed: Optimierungsguide 2026 .

Häufig gestellte Fragen

Soll ich KI-Crawler auf meiner Website blockieren? Das hängt vollständig davon ab, wie Sie Geld verdienen. Blockieren Sie, wenn der Inhalt das Produkt ist, etwa bei Journalismus hinter der Bezahlschranke oder bei bezahlten Studien, weil eine KI-Zusammenfassung den Verkauf ersetzt. Lassen Sie zu, wenn der Inhalt Marketing für eine Dienstleistung ist, denn in einer Antwort zitiert zu werden ist genau die Aufmerksamkeit, für die der Text geschrieben wurde, und die Anfrage kommt weiterhin zu Ihnen.

Verhindert das Blockieren von KI-Crawlern, dass meine Inhalte fürs Training genutzt werden? Nur teilweise. Es stoppt die gut erzogenen Crawler, die sich zu erkennen geben und robots.txt beachten, also genau die Teilmenge, die bereit ist, Regeln zu befolgen. Bereits eingelesene Inhalte bleiben eingelesen, und Scraper, die robots.txt ignorieren, waren nie betroffen. Sie steuern die höflichen Crawler, nicht alle.

Was ist Cloudflare AI Crawl Control? Eine Cloudflare-Funktion, verfügbar in allen Tarifen einschließlich des kostenlosen, mit der Sie sehen, welche KI-Dienste auf Ihre Website zugreifen, Erlaubnis- oder Sperrregeln für einzelne Crawler setzen und nachvollziehen, ob jeder von ihnen robots.txt beachtet. Sie unterstützt außerdem die Abrechnung pro Crawl. Das Nützlichste daran ist, den Verkehr anzusehen, bevor Sie irgendetwas entscheiden.

Was hat Cloudflare Pay Per Crawl abgelöst? Pay Per Use, angekündigt am 1. Juli 2026. Statt KI-Unternehmen für jeden Abruf einer Seite zu berechnen, werden Publisher bezahlt, wenn ihre Inhalte innerhalb einer Antwort Wert erzeugen. Cloudflares Begründung war, dass über 50 % des KI-Crawler-Verkehrs unveränderte Seiten erneut abruft, die Abrechnung pro Abruf also überwiegend Verschwendung in Rechnung stellte. Startpartner sind Ceramic.ai und You.com.

Was passiert am 15. September 2026? Cloudflare beginnt, KI-Crawler mit gemischtem Zweck auf Seiten mit Werbung standardmäßig zu blockieren, sofern der Betreiber die Einstellung nicht ändert. Gemischter Zweck heißt: ein Crawler, der die Indexierung für die Suche nicht vom Training und vom Agenten-Verkehr trennt. Wer Werbung ausspielt und auf Verweise aus KI-Antworten angewiesen ist, für den gilt diese Voreinstellung ohne eigenes Zutun.