llms.txt es una propuesta de estándar para un archivo Markdown ubicado en la raíz de un sitio web (en /llms.txt) que ofrece a los modelos de lenguaje una descripción breve del sitio y una lista seleccionada a mano de enlaces a su contenido más útil. Está pensado para que lo lean las herramientas de IA cuando necesitan información sobre un sitio, de modo que encuentren texto limpio sin tener que analizar páginas HTML completas. Es una propuesta de la comunidad, y el soporte por parte de las empresas de IA es limitado y desigual.
¿Qué problema intenta resolver llms.txt?
Una página web creada para personas incluye mucho que un modelo de lenguaje no necesita: menús de navegación, avisos de cookies, scripts, anuncios y pies de página. Cuando una herramienta de IA descarga una página para responder una pregunta, tiene que eliminar todo eso. Parte del contenido solo aparece después de ejecutar JavaScript, y muchos sistemas de descarga nunca lo ejecutan.
Los modelos también trabajan con una ventana de contexto limitada, la cantidad de texto que pueden considerar a la vez, que se mide en tokens. Un sitio web completo rara vez cabe. llms.txt es un índice breve, escrito por el propietario del sitio, que indica qué es el sitio y qué páginas importan, en un formato que un modelo puede leer con poco procesamiento.
¿Qué contiene un archivo llms.txt?
La propuesta define una estructura sencilla en Markdown, un formato de texto plano en el que # marca un encabezado, > marca un bloque citado y text marca un enlace. Las partes aparecen en este orden:
- Un encabezado H1 con el nombre del sitio o proyecto. Es la única parte obligatoria.
- Un bloque citado con un resumen de una o dos frases sobre qué es el sitio.
- Párrafos o listas opcionales con más contexto, por ejemplo cómo está organizado el producto o la documentación.
- Una o más secciones H2, cada una con una lista de enlaces. Cada enlace puede ir seguido de dos puntos y una nota breve sobre lo que cubre la página.
- Una sección opcional titulada "Optional", con enlaces que una herramienta puede omitir cuando le falta espacio.
Un archivo pequeño para una empresa ficticia podría verse así:
# Example Co
> Example Co makes accounting software for small bakeries. This file lists our main documentation and policy pages.
## Docs
- Getting started: installing the app and setting up an account
- Pricing: plans and what each one includes
## Optional
- Company historyLa propuesta también sugiere que los sitios publiquen una versión en Markdown de cada página importante en la misma URL añadiendo .md, para que los enlaces de llms.txt puedan apuntar a texto limpio. Algunos sitios van más allá y publican llms-full.txt, un único archivo que reúne el texto completo de su documentación.
¿En qué se diferencia llms.txt de robots.txt y de los sitemaps?
Los tres son archivos en la raíz de un sitio que leen las máquinas, lo que hace que sea fácil confundirlos, pero cada uno cumple una función distinta.
| robots.txt | sitemap.xml | llms.txt | |
|---|---|---|---|
| Propósito | Indica a los rastreadores qué URL pueden descargar | Enumera URL para que los motores de búsqueda las descubran | Resume el sitio y apunta a su contenido más útil |
| Formato | Directivas en texto plano | XML | Markdown |
| Alcance | Reglas para patrones de URL en todo el sitio | Normalmente todas las URL indexables | Una selección breve y curada |
| Estado | Convención establecida que respetan los rastreadores que la cumplen | Compatible con los principales motores de búsqueda | Propuesta con adopción limitada |
La mayor diferencia es que llms.txt no concede ni deniega nada. Incluir una página en él no da permiso a un bot para descargarla, y dejarla fuera no la bloquea. Las reglas de acceso siguen en robots.txt, donde cada uno de los rastreadores de IA se puede permitir o bloquear por el nombre de su user agent.
¿Usan llms.txt los motores de búsqueda con IA?
Ningún producto importante de búsqueda con IA se ha comprometido públicamente a usar llms.txt para decidir qué páginas recuperar o citar, y Google ha dicho que sus sistemas de búsqueda no dependen de él. Las respuestas de búsqueda con IA se construyen mediante generación aumentada por recuperación: un índice de búsqueda devuelve páginas candidatas, un paso de clasificación puntúa fragmentos y el modelo cita los que utiliza. Cómo elige la búsqueda con IA qué fuentes citar describe esas etapas. Dependen del índice y del contenido de la página, y ninguna lee primero el llms.txt de un sitio.
El archivo se usa en contextos más específicos. Los asistentes de programación y las herramientas para desarrolladores cargan documentación en el contexto de un modelo, a menudo porque un usuario pegó la URL de llms.txt o configuró la herramienta para descargarlo. Varias plataformas de documentación ya generan el archivo automáticamente para los sitios que alojan. Los registros de servidor de algunos sitios muestran bots que solicitan /llms.txt, aunque una solicitud solo demuestra que el archivo se descargó y no dice nada sobre si su contenido influyó en una respuesta.
¿Debería un sitio web publicar un archivo llms.txt?
El coste es pequeño: un archivo de texto estático. El beneficio depende de quién lea el sitio. Una empresa de software cuyos usuarios trabajan con herramientas de programación con IA tiene un uso claro para él, porque esas herramientas sí leen estos archivos cuando se les indica. Para una tienda, un restaurante o un negocio de servicios local, hay poca evidencia de que el archivo cambie algo hoy.
Si decides publicar uno, algunas prácticas lo mantienen útil:
- Enlaza solo a páginas públicas y canónicas que carguen sin errores.
- Escribe el resumen como una descripción sencilla de qué es el sitio o el producto, igual que se lo explicarías a un cliente nuevo.
- Actualiza el archivo cuando las páginas se muevan o cambien de nombre, ya que las listas de enlaces mantenidas a mano se rompen sin ningún aviso.
- Deja fuera todo lo que no quieras que sea público. Cualquiera puede abrir el archivo en un navegador.
- Mantén todos los permisos de rastreo en robots.txt, porque llms.txt no tiene ningún efecto sobre ellos.
Las plataformas de búsqueda con IA no informan de si leen el archivo. Para valorar su efecto, compara con qué frecuencia se menciona o se cita el sitio en las respuestas de IA antes y después de publicarlo, que es lo que registra el seguimiento de la visibilidad en IA a lo largo del tiempo.
