Um rastreador de IA é um bot operado por uma empresa de IA que solicita páginas de sites. Como o rastreador de um buscador, ele acessa uma URL, lê o HTML e segue links. Diferente do rastreador de um buscador, as páginas podem acabar em três lugares distintos: um conjunto de treinamento para um modelo futuro, um índice de busca que alimenta respostas de IA ao vivo ou uma única resposta para um usuário que perguntou sobre aquela página.
Os três usos têm consequências diferentes para um site, e os fornecedores os operam com user agents diferentes para que cada um possa ser controlado separadamente. Um site que bloqueia tudo que tem "AI" no nome perde seu lugar nas respostas de busca com IA junto com seu lugar nos dados de treinamento.
Quais são os três tipos de rastreador de IA?
Rastreadores de treinamento coletam texto para treinar modelos. As páginas que eles acessam podem influenciar o que um modelo sabe, meses depois, quando ele responde de memória. Bloqueá-los remove um site de conjuntos de treinamento futuros, mas não tem efeito sobre respostas que usam busca ao vivo.
Rastreadores de busca criam e atualizam o índice que os produtos de busca com IA consultam quando um usuário faz uma pergunta. Eles se comportam como o Googlebot ou o Bingbot: rastreiam amplamente, revisitam páginas que mudam e armazenam o que encontram. Bloqueá-los remove as páginas de um site dos candidatos que a resposta pode citar.
Coletores acionados pelo usuário solicitam uma página porque um usuário perguntou sobre ela ou porque o assistente decidiu lê-la durante a resposta. Eles não rastreiam; acessam uma URL por vez, em tempo real, e o conteúdo é usado para aquela única resposta. Muitas vezes ignoram o robots.txt com o argumento de que a solicitação foi feita por uma pessoa.
Quais rastreadores de IA existem?
Os fornecedores publicam suas strings de user agent, e a maioria também publica as faixas de IP que os bots usam, para que uma solicitação possa ser verificada em vez de aceita apenas pelo user agent. A lista muda, mas estes são os que respondem pela maior parte do tráfego de bots de IA nos logs de servidor.
| Fornecedor | User agent | Finalidade |
|---|---|---|
| OpenAI | GPTBot | Dados de treinamento |
| OpenAI | OAI-SearchBot | Índice para a busca do ChatGPT |
| OpenAI | ChatGPT-User | Coleta acionada pelo usuário |
| Anthropic | ClaudeBot | Dados de treinamento |
| Anthropic | Claude-SearchBot | Índice para a busca na web do Claude |
| Anthropic | Claude-User | Coleta acionada pelo usuário |
| Perplexity | PerplexityBot | Índice para as respostas do Perplexity |
| Perplexity | Perplexity-User | Coleta acionada pelo usuário |
| Googlebot | Índice de busca, também usado pelo Google AI Overviews e pelo AI Mode | |
| Google-Extended | Um token do robots.txt que controla o uso para treinamento do Gemini, não um rastreador separado | |
| Microsoft | Bingbot | Índice do Bing, também usado pelo Copilot e pela busca do ChatGPT |
| Apple | Applebot, Applebot-Extended | Siri e Spotlight; o token Extended controla o uso para treinamento |
| Common Crawl | CCBot | Arquivo aberto da web usado em muitos conjuntos de treinamento |
| Meta | Meta-ExternalAgent | Dados de treinamento |
| Amazon | Amazonbot | Alexa e serviços da Amazon |
As linhas do Google e da Microsoft são as mais mal interpretadas. O Google AI Overviews e o AI Mode usam o índice comum do Google, então não há um rastreador separado para liberar ou bloquear; o Google-Extended afeta apenas se o conteúdo é usado para treinar o Gemini. O índice do Bing alimenta o Copilot e a busca do ChatGPT, então um site que bloqueia o Bingbot fica ausente dos dois.
Como você controla os rastreadores de IA?
O robots.txt é a primeira ferramenta. Cada rastreador acima tem um token de user agent que pode ser liberado ou bloqueado por caminho. Um site que quer continuar na busca com IA, mas ficar fora dos conjuntos de treinamento, bloquearia GPTBot, ClaudeBot e CCBot e deixaria OAI-SearchBot, Claude-SearchBot e PerplexityBot como estão. Google-Extended e Applebot-Extended são configurados da mesma forma, mesmo não sendo rastreadores.
O robots.txt é um pedido que os rastreadores escolhem respeitar. Os fornecedores conhecidos respeitam; alguns menores não, e os coletores acionados pelo usuário geralmente o ignoram. Um firewall de aplicação web ou um serviço de gerenciamento de bots pode impor a política verificando a faixa de IP do bot e bloqueando as solicitações que não passam. A limitação de taxa resolve rastreadores que são bem-vindos, mas agressivos demais.
Os logs de servidor são como você descobre o que está acontecendo. Filtrar as linhas de log pelos user agents acima mostra quais bots visitam, com que frequência, quais páginas leem e se encontram erros. As páginas que um rastreador de busca mais acessa são as que têm mais chance de receber citação; as páginas que ele nunca acessa não podem ser citadas.
O que acontece quando você bloqueia um rastreador de IA?
Bloquear um rastreador de treinamento é uma escolha de política sem custo no curto prazo. O conteúdo do site deixa de alimentar modelos futuros. Respostas escritas de memória podem saber menos sobre o site, mas essas respostas já eram escritas a partir de um retrato do passado.
Bloquear um rastreador de busca tem um custo imediato. O produto que usa aquele índice não consegue mais recuperar as páginas do site, então elas não podem ser citadas e a marca só pode ser mencionada se outros sites falarem dela. Para uma empresa que quer aparecer em respostas de IA, os rastreadores de busca devem ser liberados e as páginas devem ser rápidas, estáticas e fáceis de interpretar, porque um rastreador que excede o tempo limite ou recebe um shell de JavaScript não armazena nada útil.
O meio-termo que a maioria dos sites acaba adotando é liberar o acesso de busca e o acionado pelo usuário, decidir sobre o acesso de treinamento caso a caso e acompanhar os logs para confirmar que a política está sendo respeitada.
