Open source
cloudflare-ai-crawl-history
Cloudflare vous indique quels robots d’IA lisent vos pages. Puis ces données disparaissent. Cet outil les conserve.
Un Cloudflare Worker s’exécute toutes les quatre heures et enregistre dans des fichiers de votre propre bucket R2 quel robot d’IA vérifié a lu quelle page. Un seul Worker couvre tous vos sites, sans qu’ils aient besoin d’exécuter du code.
- Rôle
- Auteur
- Année
- 2026
- Stack
- Cloudflare Workers, R2, DuckDB
- Visiter
- Code source
Le tableau de bord oublie
Toutes les requêtes de GPTBot, ClaudeBot ou PerplexityBot passent déjà par Cloudflare, qui vérifie l’adresse IP du robot et l’identifie. C’est la seule source de données directe dont disposent la plupart des sites sur l’utilisation qu’en font les moteurs d’IA. Mais les données sont supprimées au bout de 30 jours : impossible de comparer ce trimestre au précédent ou de voir ce qui a changé trois mois après une mise en ligne.
Quels robots, quelles pages
Par site, par page et par robot, toutes les quatre heures, sous forme de fichiers compressés avec gzip dans votre bucket R2. Un rapport local répond aux questions habituelles : qui explore votre site, que récupèrent ces robots et comment l’activité évolue au fil des jours. Il commence par un contrôle d’intégrité qui signale les périodes manquantes avant que vous ne vous fiiez aux chiffres. L’API de Cloudflare tronque silencieusement les résultats à 10,000 groupes. Une période trop chargée est donc découpée, puis relue.
Lisent-ils vos versions Markdown ?
Si vous proposez une version Markdown de chaque page ou un fichier llms.txt, les mêmes archives montrent quels robots les récupèrent réellement. Sur un site d’offres d’emploi comptant 14,984 versions jumelles, ClaudeBot a récupéré la version .md dans 49.8% des cas, et GPTBot dans 41.5%. meta-externalagent a effectué 38,445 requêtes sans jamais en récupérer une. Aucune requête pour llms.txt au cours des trois premiers jours et demi.
49.8%des récupérations de ClaudeBot en .md, sur un site d’offres d’emploi
41.5%des récupérations de GPTBot en .md
12objets écrits par site et par jour