Open source

astro-md-twins

Cada página se sirve dos veces: HTML para personas, Markdown para máquinas.

Una plantilla de Astro. Crea un sitio estático y, para cada página, genera también un archivo Markdown en la misma ruta añadiendo .md. Un Cloudflare Worker opcional sirve ese mismo Markdown desde la URL de la página cuando un cliente lo solicita mediante el encabezado.

Rol: Autor
Año: 2026
Stack: Astro, Cloudflare Workers
Visitar: Código fuente

El HTML es costoso de leer para una máquina

Una página incluye navegación, pies de página, banners, scripts y atributos de clase. Un rastreador descarga todo eso para obtener tres párrafos. Cloudflare midió una entrada de blog de 16.180 tokens en HTML frente a 3.150 en Markdown, aproximadamente un 80 % menos. En páginas de comercio se ha medido una reducción del 95 %.

Los rastreadores sí utilizan el Markdown

Estos datos provienen de los registros de mi propio servidor en la documentación de AI Glot, del 19 de agosto al 14 de septiembre de 2026, contando solo bots verificados por Cloudflare, por lo que no se confía en el user agent. GoogleOther tomó el 46,8 % de sus documentos como Markdown, GPTBot el 42,7 % y ClaudeBot el 34,4 %. Las cifras varían según el sitio. El patrón no.

Cómo se evita que sea contenido duplicado

Cada respuesta en Markdown incluye un enlace canónico a su página HTML y ningún gemelo llega al sitemap. Una comprobación de compilación falla si una página no tiene gemelo, si el gemelo tiene el canónico incorrecto, si el gemelo está vacío o si uno terminó en el sitemap después de todo.

You are reading a site that does this

Add .md to any article URL here and you get the source instead of the page.

/es/articles/harness-agnostic-workspaces.md

The HTML page~16,000 tokens

Navigation, language picker, footer
Stylesheet and font links
Class attributes on every element
Structured data and meta tags
The three paragraphs it came for

The .md twin~3,000 tokens

Title, description, date, language
A canonical line pointing at the page
The article body, as written

The same article, fetched two ways. The Markdown response carries a canonical link back to the HTML page, so the two never compete in search.

80%menos tokens que la misma página en HTML

46.8%de las solicitudes de GoogleOther procesadas como .md

42.7%de las solicitudes de GPTBot procesadas como .md