Cloudflare blockt AI-Crawler: Warum das für die meisten KMU der falsche Reflex ist

Cloudflare hat Anfang Juli angekündigt, wie es künftig mit KI-Bots umgeht – und weil ein erheblicher Teil des Webs über Cloudflare läuft, ist das keine Randnotiz für Technikinteressierte, sondern eine Änderung, die viele Websitebetreiber direkt betrifft. Ohne dass die meisten davon überhaupt etwas mitbekommen.

Was sich konkret ändert

Ab dem 15. September werden bei neu angelegten Cloudflare-Domains Agent- und Training-Bots standardmäßig blockiert, sobald auf der Seite Werbung ausgespielt wird. Klassische Search-Crawler bleiben dabei erlaubt – die Unterscheidung ist entscheidend. Mit “Agent” sind jene Bots gemeint, die Inhalte live abrufen, um daraus direkt eine Antwort für einen Nutzer zu bauen. Auf monetarisierten Seiten fallen Echtzeit-KI-Antworten damit erst einmal weg, sofern man sie nicht aktiv wieder freigibt.

Dazu kommt eine zweite Neuerung: “Verified” bedeutet künftig nicht mehr automatisch “allowed”. Ein verifizierter Bot ist nur noch innerhalb einer Kategorie erlaubt, die man selbst freigegeben hat. Dass ein Bot bekannt ist, reicht also nicht mehr aus – die Kategorie entscheidet.

Und Cloudflare schiebt zusätzlich die sogenannte Content Signals Policy in der robots.txt weiter an. Über eine Anweisung use=immediate|reference|full soll kommuniziert werden, was ein Bot mit den gelesenen Inhalten anstellen darf. In der von Cloudflare verwalteten robots.txt steht standardmäßig reference: indexieren und verlinken ja, Inhalte reproduzieren nein. Ob sich Bots daran halten, ist eine andere Frage – Teil des offiziellen robots.txt-Standards ist die Anweisung nämlich bis heute nicht.

Unsere Einschätzung: Für die meisten KMU ist Blockieren der falsche Reflex

Kurze Antwort vorab: Nein, für einen typischen Handwerker, Gastronomen oder ein kleines Dienstleistungsunternehmen ist das Blockieren von AI-Crawlern in etwa 95 % der Fälle nicht sinnvoll. Im Gegenteil – man schneidet sich damit sehr wahrscheinlich ins eigene Fleisch.

Der Grund liegt auf der Hand, wird aber in der Debatte oft übersehen: Große Verlage und Publisher haben ein handfestes Interesse daran, ihre Inhalte zu schützen. Ihr Geschäftsmodell ist der Content. Wer davon lebt, dass Menschen seine Artikel lesen, verliert etwas, wenn eine KI die Antwort direkt ausspuckt und niemand mehr klickt.

Ein Malermeister aus Salzburg lebt aber nicht davon, dass jemand seine Leistungsbeschreibung liest. Er lebt davon, dass er gefunden und beauftragt wird. Wenn ein Nutzer ChatGPT fragt, wer in der Umgebung Fassaden streicht, dann ist es exakt das Ergebnis, das man sich wünscht, dort genannt zu werden. Wer die Agent-Bots aussperrt, sorgt genau dafür, dass er in diesen Antworten nicht mehr vorkommt – und das aus einem Schutzbedürfnis heraus, das für sein Geschäftsmodell schlicht nicht gilt.

Die eigentliche Gefahr: Der versehentliche Googlebot-Ausschluss

Hier wird es unangenehm. Cloudflare bewertet Multipurpose-Crawler künftig nach der strengsten Regel. Und darunter fallen dann eben auch Googlebot, Bingbot und Konsorten. Wer also “block AI training” aktiviert, blockiert unter Umständen nicht nur die Crawler, die er im Kopf hatte, sondern gleich den Googlebot mit.

Diese Gefahr ist absolut real und alles andere als theoretisch. Sie gehört zu den klassischen “SEO-Unfällen”, die Webdesignern und Agenturen regelmäßig Schweißperlen auf die Stirn treiben. Kein Schreckgespenst, sondern ein handfester Albtraum, der in der Praxis immer wieder vorkommt – oft ausgelöst durch einen einzigen, winzigen Tippfehler oder ein falsch gesetztes Häkchen. Der Unterschied zwischen “wir schützen unsere Inhalte” und “wir sind bei Google nicht mehr auffindbar” ist im Zweifel genau ein Klick.

Ein Gatekeeper schreibt die Regeln um

Bleibt die größere Frage, und die trifft den Kern der aktuellen Internet-Evolution: Was Cloudflare hier macht, ist ein gigantisches zweischneidiges Schwert. Auf der einen Seite ist es digitale Selbstverteidigung für Website-Betreiber, die bislang der Logik ausgeliefert waren: Wer crawlen kann, crawlt. Mehr Kontrolle, mehr Granularität, mehr bewusste Entscheidungen – das ist ein echter Fortschritt.

Auf der anderen Seite ist es eine beängstigende Machtkonzentration, bei der ein einziger Gatekeeper im Alleingang die Spielregeln des weltweiten Webs umschreibt. Ein Unternehmen entscheidet per Default-Einstellung, was für Millionen von Websites gilt. Und Defaults sind mächtig, weil kaum jemand sie ändert.

Was jetzt konkret zu tun ist

Für KMU, Handwerker und Gastronomen gilt jetzt eine pragmatische Marschroute. Da Cloudflare seine Einstellungen massiv umstrukturiert hat, laufen viele Websites Gefahr, in eine unsichtbare Falle zu tappen:

1. Einmal aktiv nachsehen, was in den Cloudflare-Einstellungen unter Bot-Management tatsächlich gesetzt ist – nicht darauf verlassen, dass der Default schon passen wird.
2. Nicht blind “AI blockieren” anklicken, nur weil die Option existiert und beruhigend klingt. Erst die Frage beantworten: Verdiene ich Geld mit meinen Inhalten – oder damit, dass man mich findet?
3. Nach jeder Änderung prüfen, ob Google die Seite noch crawlen kann. Die Google Search Console zeigt das zuverlässig an.
4. Wenn ihr euch unsicher seid: fragt nach, bevor ihr klickt. Eine falsch gesetzte Einstellung fällt oft erst Wochen später auf, wenn die Zugriffe längst weggebrochen sind.

Kurz notiert

Zwei weitere Entwicklungen, die wir im Blick behalten: OpenAI empfiehlt für die bessere Erkennung durch KI-Agenten explizit den Einsatz von WAI-ARIA – während der jährliche WebAIM-Million-Report Jahr für Jahr zeigt, dass Seiten mit ARIA im Schnitt deutlich mehr Barrierefreiheitsfehler aufweisen als Seiten ohne. Der alte Grundsatz “kein ARIA ist besser als schlechtes ARIA” gilt weiterhin: Sauberes, semantisches HTML bringt für Mensch und Maschine mehr als aufgesetzte Attribute.

Und Google rollt neue Search-Console-Properties für Social-Media-Accounts aus – aktuell für Instagram, TikTok, X und YouTube. Damit lässt sich künftig sehen, wie viel Traffic auf Social-Posts eigentlich aus der Google-Suche stammt. Nebenbei erfährt Google dadurch ziemlich eindeutig, welche Accounts zu welcher Marke gehören.