llms.txt é uma proposta de padrão para um arquivo Markdown colocado na raiz de um site (em /llms.txt) que dá aos modelos de linguagem uma descrição curta do site e uma lista escolhida a dedo de links para o seu conteúdo mais útil. Ele foi pensado para ser lido por ferramentas de IA quando elas precisam de informações sobre um site, para que encontrem texto limpo sem precisar interpretar páginas HTML completas. É uma proposta da comunidade, e o suporte das empresas de IA é limitado e irregular.
Que problema o llms.txt tenta resolver?
Uma página web feita para pessoas carrega muita coisa de que um modelo de linguagem não precisa: menus de navegação, banners de cookies, scripts, anúncios e rodapés. Quando uma ferramenta de IA busca uma página para responder a uma pergunta, ela precisa remover tudo isso. Parte do conteúdo só aparece depois que o JavaScript é executado, e muitos sistemas de coleta nunca o executam.
Os modelos também trabalham com uma janela de contexto limitada, a quantidade de texto que conseguem considerar de uma vez, que é medida em tokens. Um site inteiro raramente cabe. O llms.txt é um índice curto, escrito pelo dono do site, que diz o que o site é e quais páginas importam, em um formato que um modelo consegue ler com pouco processamento.
O que um arquivo llms.txt contém?
A proposta define uma estrutura simples em Markdown, um formato de texto simples em que # marca um título, > marca um bloco de citação e texto marca um link. As partes aparecem nesta ordem:
- Um título H1 com o nome do site ou projeto. Esta é a única parte obrigatória.
- Um bloco de citação com um resumo de uma ou duas frases sobre o que o site é.
- Parágrafos ou listas opcionais com mais contexto, como a forma em que o produto ou a documentação está organizado.
- Uma ou mais seções H2, cada uma contendo uma lista de links. Cada link pode ser seguido de dois-pontos e uma nota curta sobre o que a página aborda.
- Uma seção opcional com o título "Optional", com links que uma ferramenta pode ignorar quando tem pouco espaço.
Um arquivo pequeno para uma empresa fictícia poderia ser assim:
# Example Co
> A Example Co faz software de contabilidade para pequenas padarias. Este arquivo lista nossas principais páginas de documentação e de políticas.
## Docs
- Primeiros passos: instalar o app e configurar uma conta
- Preços: planos e o que cada um inclui
## Optional
- História da empresaA proposta também sugere que os sites publiquem uma versão em Markdown de cada página importante na mesma URL com .md acrescentado, para que os links do llms.txt possam apontar para texto limpo. Alguns sites vão além e publicam o llms-full.txt, um único arquivo que reúne o texto completo da sua documentação.
Como o llms.txt difere do robots.txt e dos sitemaps?
Os três são arquivos na raiz de um site lidos por máquinas, o que facilita confundi-los, mas cada um faz um trabalho diferente.
| robots.txt | sitemap.xml | llms.txt | |
|---|---|---|---|
| Finalidade | Diz aos rastreadores quais URLs eles podem buscar | Lista URLs para os mecanismos de busca descobrirem | Resume o site e aponta para o seu conteúdo mais útil |
| Formato | Diretivas em texto simples | XML | Markdown |
| Abrangência | Regras para padrões de URL em todo o site | Normalmente todas as URLs indexáveis | Uma seleção curta e curada |
| Situação | Convenção estabelecida seguida pelos rastreadores que a respeitam | Suportado pelos principais mecanismos de busca | Proposta com adoção limitada |
A maior diferença é que o llms.txt não concede nem nega nada. Listar uma página nele não dá a um bot permissão para buscar essa página, e deixar uma página de fora não a bloqueia. As regras de acesso continuam no robots.txt, onde cada um dos rastreadores de IA pode ser permitido ou bloqueado pelo nome do seu user agent.
Os mecanismos de busca com IA usam o llms.txt?
Nenhum grande produto de busca com IA se comprometeu publicamente a usar o llms.txt para decidir quais páginas recuperar ou citar, e o Google afirmou que seus sistemas de busca não dependem dele. As respostas da busca com IA são construídas por meio de geração aumentada por recuperação: um índice de busca retorna páginas candidatas, uma etapa de ranqueamento pontua os trechos, e o modelo cita aqueles que usa. Como a busca com IA escolhe quais fontes citar descreve essas etapas. Elas dependem do índice e do conteúdo da página, e nenhuma delas lê primeiro o llms.txt de um site.
O arquivo é usado em contextos mais restritos. Assistentes de programação e ferramentas para desenvolvedores carregam documentação na janela de contexto de um modelo, muitas vezes porque um usuário colou a URL do llms.txt ou configurou a ferramenta para buscá-lo. Várias plataformas de documentação agora geram o arquivo automaticamente para os sites que hospedam. Os logs de servidor de alguns sites mostram bots solicitando /llms.txt, embora uma solicitação só prove que o arquivo foi buscado e não diga nada sobre se o seu conteúdo influenciou uma resposta.
Um site deve publicar um arquivo llms.txt?
O custo é pequeno: um arquivo de texto estático. O benefício depende de quem lê o site. Uma empresa de software cujos usuários trabalham com ferramentas de programação com IA tem um uso claro para ele, porque essas ferramentas leem esse tipo de arquivo quando são direcionadas a ele. Para uma loja, um restaurante ou um negócio de serviços local, há poucas evidências de que o arquivo mude alguma coisa hoje.
Se você publicar um, algumas práticas mantêm o arquivo útil:
- Inclua links apenas para páginas públicas e canônicas que carregam sem erros.
- Escreva o resumo como uma descrição simples do que o site ou produto é, do mesmo jeito que você explicaria a um cliente novo.
- Atualize o arquivo quando páginas mudarem de lugar ou forem renomeadas, já que listas de links mantidas à mão quebram sem nenhum aviso.
- Deixe de fora qualquer coisa que você não queira tornar pública. Qualquer pessoa pode abrir o arquivo em um navegador.
- Mantenha todas as permissões de rastreamento no robots.txt, porque o llms.txt não tem efeito sobre elas.
As plataformas de busca com IA não informam se leem o arquivo. Para avaliar o efeito dele, compare com que frequência o site é mencionado ou citado em respostas de IA antes e depois de publicá-lo, que é o que o acompanhamento da visibilidade em IA ao longo do tempo registra.
