Guillaume Duvernay

Open Source

astro-md-twins

Jede Seite wird doppelt ausgeliefert: HTML für Menschen, Markdown für Maschinen.

Ein Astro-Template. Es erstellt eine statische Seite und für jede Seite zusätzlich eine Markdown-Datei unter demselben Pfad mit der Endung .md. Ein optionaler Cloudflare Worker liefert dasselbe Markdown über die Seiten-URL aus, wenn ein Client dies per Header anfordert.

Rolle
Autor
Jahr
2026
Stack
Astro, Cloudflare Workers
Besuchen
Quellcode

HTML ist für Maschinen teuer zu lesen

Eine Seite enthält Navigation, Footer, Banner, Skripte und Klassen-Attribute. Ein Crawler lädt all das herunter, um drei Absätze zu erhalten. Cloudflare hat einen Blogpost als HTML mit 16.180 Token gemessen und als Markdown mit 3.150 Token, also etwa 80% weniger. Bei Commerce-Seiten wurden bis zu 95% weniger gemessen.

Crawler nutzen Markdown tatsächlich

Dies sind Daten aus meinen eigenen Server-Logs der AI Glot-Dokumentation vom 19. August bis 14. September 2026, wobei nur von Cloudflare verifizierte Bots gezählt wurden. GoogleOther bezog 46,8% der Dokumente als Markdown, GPTBot 42,7%, ClaudeBot 34,4%. Die Zahlen variieren je nach Seite, das Muster jedoch nicht.

Warum es kein Duplicate Content ist

Jede Markdown-Antwort enthält einen Canonical-Link zurück zur HTML-Seite, und kein Zwilling landet in der Sitemap. Ein Build-Check schlägt fehl, wenn eine Seite keinen Zwilling hat, ein Zwilling den falschen Canonical-Link besitzt, ein Zwilling leer ist oder ein Zwilling doch in der Sitemap gelandet ist.

You are reading a site that does this

Add .md to any article URL here and you get the source instead of the page.

/de/articles/harness-agnostic-workspaces.md

The same article, fetched two ways. The Markdown response carries a canonical link back to the HTML page, so the two never compete in search.

80%weniger Token als dieselbe Seite als HTML

46.8%der GoogleOther-Abrufe als .md erfolgt sind

42.7%der GPTBot-Abrufe als .md erfolgt sind