A busca semântica é um método de recuperação que relaciona uma consulta a documentos pelo significado, e não pelas palavras em comum. Ela converte tanto a consulta quanto os documentos em listas de números chamadas embeddings e, em seguida, retorna os documentos cujos embeddings ficam mais próximos do embedding da consulta. Uma página sobre "passagens baratas para Lisboa" pode corresponder à pergunta "viagem aérea de baixo custo para Portugal", mesmo que as duas quase não tenham palavras em comum.
A maioria dos produtos de busca com IA usa busca semântica em algum ponto do seu pipeline, geralmente junto com métodos mais antigos baseados em palavras-chave. Entender como ela funciona explica por que alguns trechos são recuperados e citados enquanto outros da mesma página são ignorados.
Como funciona a busca semântica?
Um sistema de busca semântica tem um lado de indexação, que é executado com antecedência, e um lado de consulta, que é executado quando alguém faz uma pergunta.
- Dividir o conteúdo. Cada página é cortada em blocos (chunks), geralmente com algumas frases a alguns parágrafos de extensão. O bloco é a unidade que é comparada e retornada.
- Criar embeddings. Um modelo de embedding lê cada bloco e gera um vetor, uma lista de números de tamanho fixo (muitas vezes várias centenas ou alguns milhares). O modelo é treinado para que textos com significado parecido produzam vetores que apontam em direções parecidas.
- Armazenar os vetores. Os vetores vão para um índice vetorial, um banco de dados feito para encontrar rapidamente vetores próximos entre milhões ou bilhões de entradas.
- Gerar o embedding da consulta. Quando chega uma pergunta, o mesmo modelo de embedding a transforma em um vetor.
- Encontrar os vizinhos mais próximos. O índice compara o vetor da consulta com os vetores armazenados, geralmente com uma medida chamada similaridade de cosseno, e retorna os blocos com as maiores pontuações.
O modelo de embedding é uma rede neural relacionada a um modelo de linguagem de grande porte, treinada com grandes volumes de texto para aprender quais palavras e expressões costumam significar a mesma coisa. Quando ele gera o embedding de uma consulta, posiciona o texto em um ponto de um espaço onde ideias relacionadas ficam agrupadas. Nenhuma consulta a tabela acontece nessa etapa.
Qual é a diferença entre busca semântica e busca por palavras-chave?
A busca por palavras-chave, também chamada de busca lexical, pontua documentos pelas palavras que eles têm em comum com a consulta. A fórmula de pontuação mais comum, BM25, favorece documentos que contêm os termos da consulta com frequência e dá mais peso a termos raros do que a termos comuns. A busca semântica ignora a redação exata e compara o significado.
| Busca por palavras-chave | Busca semântica | |
|---|---|---|
| O que compara | Palavras em comum | Vetores de embedding |
| Sinônimos e paráfrases | Não encontrados, a menos que estejam listados | Geralmente encontrados |
| Sequências exatas (códigos de produto, nomes, mensagens de erro) | Encontradas com confiabilidade | Às vezes perdidas ou confundidas |
| Perguntas longas e conversacionais | Fraca, muitas palavras trazem pouco sinal | Forte |
| Explicar por que um resultado correspondeu | Fácil, as palavras estão visíveis | Difícil, a correspondência é numérica |
Os dois métodos falham em tipos diferentes de consulta. Uma pergunta como "por que meu notebook faz barulho quando está ocioso" combina com a busca semântica, porque boas respostas podem falar de ruído da ventoinha e de processos em segundo plano. Uma consulta por um número de modelo como "XPS 9530" combina com a busca por palavras-chave, porque um modelo de embedding pode tratá-lo como parecido com outros números de modelo e retornar o produto errado.
Por que os sistemas de busca combinam recuperação semântica e por palavras-chave?
Como os dois métodos têm fraquezas opostas, a maioria dos sistemas em produção executa os dois e mescla os resultados. Isso se chama busca híbrida. Uma abordagem comum pega os principais resultados de cada método e combina seus ranqueamentos em uma única lista, de modo que um trecho com boa pontuação em qualquer um dos lados tenha chance de permanecer.
A lista mesclada geralmente é então enviada a um reranqueador, um modelo separado que lê a consulta e cada trecho candidato juntos e atribui uma pontuação de relevância mais cuidadosa. O reranqueamento é mais lento do que a busca vetorial, por isso só é executado em uma lista curta de candidatos. A ordem que ele produz decide quais trechos seguem para a próxima etapa, um processo explicado em como a busca com IA escolhe quais fontes citar.
Onde a busca semântica se encaixa na busca com IA?
A busca com IA se baseia em geração aumentada por recuperação: o sistema recupera o texto primeiro e o modelo de linguagem escreve a resposta a partir desse texto. A busca semântica pode aparecer em vários pontos desse processo.
- Recuperação de páginas. Alguns índices de busca usam embeddings para encontrar páginas candidatas para cada consulta que o modelo escreve.
- Seleção de trechos. Depois que as páginas são obtidas e divididas em trechos, os embeddings ajudam a pontuar quais trechos dentro de uma página correspondem à pergunta.
- Correspondência de perguntas de acompanhamento. Em uma conversa, a consulta que o sistema usa na busca costuma ser uma versão reescrita do que o usuário digitou, e os embeddings ajudam a encontrar correspondência para essa intenção reescrita.
Esse é um dos motivos pelos quais a busca com IA se comporta de forma diferente de uma página de resultados clássica, como descrito em como a busca com IA difere da busca tradicional. Um mecanismo tradicional ranqueia páginas inteiras para uma consulta curta. Um sistema de IA compara trechos individuais com perguntas longas, em linguagem natural, e a busca semântica lida bem com esse tipo de correspondência.
O que a busca semântica significa para um site?
Como a correspondência acontece no nível dos blocos, cada trecho de uma página compete por conta própria. Um trecho que responde claramente a uma pergunta, usando os termos que um leitor usaria, gera um embedding que fica próximo dessa pergunta. Se um trecho mistura vários assuntos, seu embedding fica em algum ponto entre eles e pode não ficar próximo de nenhum.
Algumas consequências práticas decorrem desse mecanismo:
- Escreva seções que façam sentido sem o texto ao redor. Um bloco que começa com "Como mencionado acima" perde o contexto de que o embedding precisava.
- Nomeie as coisas explicitamente. Nomes de produtos, nomes de marcas, localizações e especificações devem aparecer no trecho que trata deles, porque a recuperação por palavras-chave ainda lida melhor com sequências exatas do que os embeddings.
- Cubra as diferentes formas como as pessoas formulam uma pergunta. A busca semântica tolera paráfrases, mas uma página que trata do problema real que a pessoa descreve vai corresponder a mais perguntas dela do que uma página que só usa jargão interno.
- Mantenha as páginas acessíveis. Nada disso se aplica se os rastreadores de IA que coletam conteúdo para um determinado produto estiverem bloqueados de ler a página.
A recuperação híbrida e o reranqueamento mudam a cada consulta e a cada execução, então a mesma página pode ser recuperada para uma formulação de uma pergunta e ignorada em outra. Testar uma variedade de prompts realistas ao longo do tempo mostra quais formulações realmente fazem uma página aparecer. Essa abordagem é descrita em medindo a visibilidade em IA.
