A busca tradicional devolve uma lista ranqueada de páginas da web para as palavras que a pessoa digitou, e a pessoa abre essas páginas e as lê. A busca com IA faz a leitura no lugar da pessoa: um modelo de linguagem envia consultas a um índice de busca, extrai trechos das páginas que recebe de volta e escreve uma resposta que cita algumas delas. As duas dependem do rastreamento e da indexação da web, e se diferenciam no que ranqueiam, no que mostram e em quão estável é o resultado.
Como funciona a busca tradicional?
Um mecanismo de busca tradicional tem três etapas. Um rastreador, que é um programa que busca páginas seguindo links, baixa páginas da web. Um indexador armazena o texto de cada página em um índice de busca, um banco de dados organizado para que as páginas possam ser encontradas pelas palavras que contêm. Quando alguém digita uma consulta, um sistema de ranqueamento pontua as páginas correspondentes e as devolve em ordem.
O ranqueamento usa sinais como o grau de correspondência entre o texto da página e a consulta, links de outros sites, qualidade da página e atualidade. O resultado é uma lista de links, cada um com um título e um pequeno resumo. A partir daí, a pessoa escolhe quais links abrir, lê as páginas e monta a resposta na própria cabeça.
Como a busca com IA produz uma resposta?
A busca com IA mantém o índice e coloca um modelo de linguagem sobre ele. Um grande modelo de linguagem é uma rede neural treinada com grandes quantidades de texto para prever a próxima palavra, o que também permite que ele leia uma pergunta e escreva uma resposta. O modelo lê a pergunta, reescreve-a como uma ou mais consultas de busca e as envia a um índice.
Depois que o índice devolve as páginas candidatas, o sistema segue uma sequência fixa:
- Buscar as páginas e remover navegação, anúncios e outros elementos repetitivos.
- Dividir o texto restante em trechos de algumas frases cada.
- Pontuar cada trecho em relação à pergunta e manter os de maior pontuação.
- Entregar esses trechos ao modelo como contexto.
- Gerar a resposta e anexar citações às frases que vieram de uma fonte.
Esse padrão de buscar documentos primeiro e escrever a partir deles depois se chama geração aumentada por recuperação. É assim que um modelo consegue responder perguntas sobre acontecimentos recentes, preços ou produtos específicos que não estavam nos seus dados de treinamento.
Quais são as principais diferenças?
Os dois sistemas compartilham um índice, e quase tudo depois do índice funciona de forma diferente.
| Busca tradicional | Busca com IA | |
|---|---|---|
| Entrada | Uma consulta curta por palavras-chave | Uma pergunta completa, muitas vezes com a conversa anterior |
| Consultas enviadas ao índice | A que o usuário digitou | Uma ou mais escritas pelo modelo |
| O que é ranqueado | Páginas inteiras | Páginas e, depois, trechos dentro delas |
| Quem lê as páginas | O usuário | O modelo |
| Saída | Uma lista de links com resumos | Uma resposta escrita com algumas citações |
| Repetibilidade | A mesma consulta gera uma lista parecida | A mesma pergunta pode gerar uma resposta diferente |
A linha da entrada afeta a forma como as pessoas perguntam. Em um chat, uma pergunta de continuação como "qual deles é mais barato?" depende da mensagem anterior, então o modelo precisa levar o contexto para as consultas que escreve. Um mecanismo por palavras-chave trata cada busca como nova.
Ranquear trechos em vez de páginas inteiras muda o que está em disputa. Uma página pode ter um bom ranqueamento como um todo e ainda assim não contribuir em nada para uma resposta de IA se nenhum de seus parágrafos responder diretamente à pergunta. Como a busca com IA escolhe quais fontes citar descreve a etapa de pontuação de trechos com mais detalhes.
Por que os resultados da busca com IA são menos estáveis?
Uma página de resultados tradicional muda devagar. Os rankings se movem quando as páginas são atualizadas, quando surgem páginas novas ou quando o sistema de ranqueamento muda, então duas pessoas que digitam a mesma consulta no mesmo dia geralmente veem praticamente a mesma lista.
As respostas de IA variam por vários motivos que se somam:
- O modelo escolhe as palavras com certa aleatoriedade, então a redação e a ordem dos itens mudam entre execuções.
- As consultas que o modelo escreve podem mudar de uma execução para outra, o que traz de volta um conjunto diferente de páginas.
- Mensagens anteriores na conversa mudam a forma como a pergunta é interpretada.
- Alguns assistentes decidem, pergunta a pergunta, se vão buscar na web, e respondem com base nos dados de treinamento quando não buscam.
Por isso, não existe uma posição fixa para acompanhar, como existe em uma lista ranqueada. Uma marca pode ser citada em uma resposta e não aparecer na seguinte para a mesma pergunta. A medida útil é com que frequência uma página ou marca aparece ao longo de muitas execuções repetidas, e é por isso que uma verificação isolada diz pouco.
O que continua igual?
A busca com IA ainda depende de a web ser rastreada e indexada. Cada produto de IA usa um índice de busca, seja um que ele mesmo constrói, seja um licenciado de um mecanismo de busca. Se uma página não está nesse índice, o modelo nunca a vê.
As empresas de IA também operam seus próprios rastreadores. Os rastreadores de IA têm user agents separados para treinamento, para busca em tempo real e para buscar uma página sobre a qual o usuário perguntou, e o arquivo robots.txt de um site pode permitir ou bloquear cada um deles. Uma página bloqueada para o rastreador de busca de determinado produto não pode ser citada por esse produto, por mais bem escrita que seja.
O que essa diferença significa para um site?
A primeira mudança está na forma como o tráfego chega. Na busca tradicional, uma visita acontece quando alguém clica em um resultado. Na busca com IA, a resposta já está na tela, então muitas perguntas terminam sem clique, e as visitas que vêm de links de citação são contabilizadas como tráfego de referência de IA.
O modelo também lê o conteúdo de outra forma. Como ele escolhe trechos, um parágrafo que responde a uma pergunta na primeira frase é mais fácil de selecionar do que um que só faz sentido depois dos três parágrafos anteriores. Definições, listas curtas e tabelas com valores reais são fáceis de levar para uma resposta.
A medição também muda. O acompanhamento de ranking registra a posição de uma página para uma palavra-chave. A visibilidade em IA registra com que frequência as respostas de IA mencionam ou citam uma marca em um conjunto fixo de perguntas e plataformas, executado repetidamente ao longo do tempo, e também conta menções em páginas de terceiros, como avaliações e comparações, que o modelo leu enquanto escrevia.
