KI-Crawler-Audit

Im Angebot enthalten

• Bestandsaufnahme robots.txt und Cloudflare-Einstellungen je Domain
• Baseline-Dokumentation vor dem 15. September 2026
• Klassifikation der Bots nach Wirkung, gegen Betreiberdokumentation geprüft
• Begründeter Entscheid je Domain, schriftlich
• Nachkontrolle in Search Console und Server-Logs

Wie wir vorgehen

1. Inventar: alle Domains hinter Cloudflare, plus ihre aktuelle robots.txt im Wortlaut
2. Baseline sichern: Screenshot der Bot-Einstellungen, Export der Crawling-Statistiken, robots.txt archiviert — jeweils mit Datum
3. Klassifikation: welcher Bot in welcher Wirkungsklasse, und was ein Disallow dort tatsächlich kostet
4. Prüfung, wo der schützenswerte Inhalt liegt — eine Sperre auf einer Domain sichert nichts, wenn derselbe Inhalt anderswo offen steht
5. Entscheid je Domain, schriftlich begründet, und Umsetzung in robots.txt und Cloudflare
6. Abruf der ausgelieferten Datei als Nachweis, danach Nachkontrolle nach zwei Wochen

Was Sie konkret erhalten

• Für jede Domain ist dokumentiert, was sie KI-Anbietern erlaubt — und warum
• Der Zustand vor dem Stichtag ist beweisbar, nicht erinnert
• Kein Trainingsblock, der nichts sichert, weil derselbe Inhalt anderswo offen liegt
• Nicht für Sie: wer nicht über Cloudflare läuft und Modelltraining ohnehin erlaubt, hat nichts zu tun und braucht dieses Audit nicht

Mandats-Rahmen

Ein bis zwei Tage bei bis zu zehn Domains, danach eine Nachkontrolle nach zwei Wochen. Kein Retainer.