Open Source
cloudflare-ai-crawl-history
Cloudflare zeigt dir, welche KI-Crawler deine Seiten lesen. Danach werden die Daten gelöscht. Dieses Tool speichert sie.
Ein Cloudflare Worker, der alle vier Stunden läuft und in Dateien in deinem eigenen R2-Bucket festhält, welcher verifizierte KI-Bot welche Seite gelesen hat. Ein Worker deckt alle deine Websites ab, auf den Websites selbst muss dafür kein Code laufen.
- Rolle
- Autor
- Jahr
- 2026
- Stack
- Cloudflare Workers, R2, DuckDB
- Besuchen
- Quellcode
Das Dashboard vergisst
Jede Anfrage von GPTBot, ClaudeBot oder PerplexityBot läuft bereits über Cloudflare. Dort wird die IP-Adresse des Crawlers geprüft und die Anfrage entsprechend gekennzeichnet. Für die meisten Websites ist das der einzige direkte Einblick darin, wie KI-Dienste ihre Inhalte nutzen. Doch die Daten verfallen nach 30 Tagen. So kannst du weder dieses Quartal mit dem letzten vergleichen noch sehen, was sich drei Monate nach der Veröffentlichung geändert hat.
Welche Bots, welche Seiten
Für jede Website, Seite und jeden Bot, alle vier Stunden, als gzip-komprimierte Dateien in deinem R2-Bucket. Ein lokaler Bericht beantwortet die üblichen Fragen: Wer crawlt deine Website, was wird abgerufen und wie verändert sich das von Tag zu Tag? Bevor du den Zahlen vertraust, prüft ein Gesundheitscheck, welche Zeiträume fehlen. Die Cloudflare-API kürzt Ergebnisse stillschweigend auf 10,000 Gruppen. Ist ein Zeitraum voll, wird er deshalb aufgeteilt und erneut ausgelesen.
Lesen sie auch deine Markdown-Zwillinge?
Wenn du für jede Seite eine Markdown-Zwillingsversion oder eine llms.txt bereitstellst, zeigt dasselbe Archiv, welche Bots diese tatsächlich abrufen. Auf einer Jobbörse mit 14,984 Zwillingsseiten rief ClaudeBot in 49.8% der Fälle die .md-Version ab, GPTBot in 41.5%. meta-externalagent stellte 38,445 Anfragen, rief aber keine einzige ab. In den ersten dreieinhalb Tagen gab es keine Anfrage für llms.txt.
49.8%der ClaudeBot-Abrufe erfolgten als .md, auf einer Jobbörse
41.5%der GPTBot-Abrufe erfolgten als .md
12geschriebene Objekte pro Website und Tag