KI-Crawler steuern — was wirkt, was nur so aussieht

Am 1. Juli 2026 hat Cloudflare die pauschale Option «Block AI bots» durch drei Kategorien ersetzt. Search meint jedes Verhalten, das Inhalte sammelt oder indexiert, um später Fragen darüber zu beantworten. Agent meint automatisiertes Handeln in Echtzeit im Auftrag einer Person. Training meint einen Crawler, der Inhalte holt, um ein Modell zu trainieren oder nachzujustieren. Je Kategorie gibt es drei Optionen: auf allen Seiten blocken, nur auf Seiten mit Anzeigen blocken, oder nicht blocken.

Zum 15. September ändern sich zwei Dinge, und sie werden regelmässig verwechselt. Erstens gelten für neu aufgenommene Domains neue Voreinstellungen: Search erlaubt, Training und Agent auf Seiten mit Anzeigen geblockt. Zweitens werden Bots mit mehreren Zwecken nach der schärfsten zutreffenden Regel behandelt. Googlebot, Applebot und Bingbot crawlen jeweils für Suche und Training mit demselben Bot — wer Training blockt, kann sie damit mittreffen.

Der Mechanismus dahinter ist der eigentliche Punkt dieses Guides: ein Schalter, der technisch durchsetzt (Schicht 3), wird an eine Kategorisierung gebunden, die die meisten mit Schicht-1-Denken bedient haben. «Ich sperre Training» hiess in robots.txt immer nur: ich bitte darum. Im Bot-Management heisst es: ich lasse nicht durch.

Das ist die Aussage, aus der sich fast alle Fehlkonfigurationen erklären. Training und Zitierbarkeit laufen über verschiedene Bots. Wer ClaudeBot und GPTBot sperrt, aber Claude-SearchBot und OAI-SearchBot offen lässt, verschwindet nicht aus KI-Antworten — er verschwindet nur aus den Trainingsdaten.

Umgekehrt gilt dasselbe und ist teurer: wer pauschal alles sperrt, was «KI» im Namen trägt, nimmt sich aus den Antworten heraus, in denen er sonst als Quelle erschienen wäre. Das kostet Sichtbarkeit, ohne am Training etwas zu ändern, wenn der Inhalt anderswo offen liegt.

Bing lässt sich nicht trennen. Bei Microsoft sind Retrieval und Training über robots.txt gar nicht auseinanderzuhalten — es gibt kein separates Trainings-Token. Microsoft schreibt: Inhalt ohne NOCACHE- und ohne NOARCHIVE-Tag kann in Bing-Chat-Antworten erscheinen, und Seiteninhalt kann für das Training generativer Modelle verwendet werden. Der einzige Hebel ist das Meta-Tag `<meta name="bingbot" content="noarchive">`, nicht die robots.txt.

Bei Apple wird der Hebel übersehen. Apple hält fest, dass von Applebot gecrawlte Daten auch zum Training von Apple-Foundation-Models dienen können. Der Hebel dagegen heisst `Applebot-Extended` und existiert — wer nur die üblichen drei Trainings-Tokens sperrt und ihn vergisst, trainiert weiter.

Perplexity schreibt zu `Perplexity-User`, dass robots.txt-Regeln generell ignoriert werden. Ein Disallow ist dort eine Absichtserklärung, keine Massnahme.

Meta formuliert für `facebookexternalhit` und `meta-externalfetcher`, dass robots.txt umgangen werden kann.

Slack hält zu `Slackbot-LinkExpanding` fest: robots.txt-Dateien werden derzeit nicht befolgt.

OpenAI formuliert für `ChatGPT-User` nur einen Vorbehalt — die Regeln greifen möglicherweise nicht, weil der Abruf nutzerinitiiert ist. Das ist keine angekündigte Nichtbefolgung.

Anthropic dokumentiert umgekehrt für alle drei Tokens ausdrücklich robots.txt-Konformität. Ein Disallow für `Claude-User` ist also sehr wohl eine Massnahme.

Die zweite Schicht sagt nicht, ob jemand deine Seite holen darf, sondern was er danach damit tun darf. Cloudflare hat dafür am 24. September 2025 die Content Signals Policy unter CC0 veröffentlicht: drei Signale in einer Zeile in der robots.txt. Das Signal search steht für den Aufbau eines Suchindex, ai-input für die Verwendung als Eingabe in ein KI-Modell, ai-train für Training und Feinabstimmung. Der Wert yes erlaubt, no verbietet, und ein fehlendes Signal heisst: keine Präferenz geäussert.

Verbreitet ist inzwischen ein vierter Parameter, use= mit den Werten immediate, reference und full. Das ist kein Standard, sondern eine Cloudflare-Erweiterung. Die IETF-Arbeitsgruppe AIPREF arbeitet parallel an einem eigenen Vokabular; der Draft vom 28. April 2026 kennt genau zwei Kategorien — train-ai und search — mit den Werten y und n, und trägt an mehreren Stellen den Vermerk, dass noch kein Konsens besteht.

Praktische Folge: Schicht 2 ist real nutzbar, aber sie ist eine Absichtserklärung in einem noch nicht ausgehandelten Vokabular. Wer sie setzt, sollte wissen, dass zwei verschiedene Fassungen im Umlauf sind — und dass keine davon technisch durchsetzt.

Bevor du Training sperrst, prüfe, wo der schützenswerte Inhalt tatsächlich steht — und ob er anderswo offen liegt. Zwei Muster tauchen dabei immer wieder auf.

Erstens: Der Inhalt steht auf einer anderen Domain, die keine Bot-Regeln führt. Eine Sperre auf der eigenen Seite entfernt dann nur die Attributionsspur, während der Trainings-Crawler die Inhalte am Ursprung holt. Man verliert die Zuordnung und schützt nichts.

Zweitens: Der Inhalt steht nicht dort, wo gesperrt wird. Ein Disallow auf einem Verzeichnis hilft nicht, wenn derselbe Kern in einer Übersichtsseite, einem Blogartikel oder einer llms-full.txt ausformuliert daneben liegt.

Warum das mehr als ein Schönheitsfehler ist: Es entsteht ein Artefakt, das eine Zusicherung stützt, die materiell nicht trägt. Das ist schlechter als ein offener Widerspruch, weil sich jemand darauf verlässt.

Die Sternchen-Gruppe äussert gar keine Präferenz zu ai-input und führt use=reference. Die beiden Spezialgruppen äussern ai-input=yes und führen kein use=. Eine Datei, ein Generator, zwei Fassungen.

PetalBot und TikTokSpider haben eigene Gruppen. Die Signale aus der Sternchen-Gruppe gelten für sie deshalb nicht — die Wiederholung je Gruppe ist keine Redundanz, sondern Voraussetzung dafür, dass die Aussage überhaupt greift.

Was daraus folgt: Wer wissen will, was seine Domain aussagt, liest die Datei. Der Schalter im Dashboard sagt es nicht.

Wir liefern acht Domains aus einem Deployment aus. Die robots.txt entsteht pro Domain im Code, mit den vier Wirkungsklassen als Gruppen — dieselbe Struktur, die dieser Guide beschreibt, und derselbe Code, der im Check daneben die Vorlage erzeugt.

Unser Entscheid: Training erlaubt. Alle acht Sites tragen Inhalte, die für uns werben, kein Kundeninventar. Diese Inhalte sollen in das Wissen eingehen, aus dem Modelle über Schweizer KI-Anbieter sprechen. Das ist eine Geschäftsentscheidung, keine technische — bei Kundendaten oder bezahltem Inventar fiele sie anders aus.

Zusätzlich sprechen wir es seit dieser Fassung als Nutzungspräferenz aus: `Content-Signal: search=yes, ai-input=yes, ai-train=yes`. Vorher war die Erlaubnis nur die Abwesenheit einer Sperre. Cloudflares `use=`-Parameter setzen wir nicht — er ist kein Standard, und die eigene Datei soll dem Guide nicht widersprechen.

Der teuerste Fehler der Vorversion: `/_next/` stand auf Disallow. Von dort liefert Next.js CSS und JavaScript aus. Googlebot konnte die Seiten nicht rendern und sah unformatierte Skelette. Ein Test hält diesen Fall jetzt fest — samt einer Kontrolle, die absichtlich eine kaputte Variante durch dieselbe Prüfung schickt und rot werden muss. Eine Prüfung, die nie etwas findet, belegt nichts.