A busca híbrida é um método de recuperação que executa dois tipos de busca sobre a mesma consulta, um que encontra palavras exatas e outro que encontra significado, e depois une os resultados em uma única lista ranqueada. Ela existe porque cada método deixa passar coisas que o outro encontra. Muitos sistemas de busca com IA e ferramentas de recuperação usam alguma forma dela para escolher os trechos que um modelo de linguagem lê antes de escrever uma resposta.
Quais são as duas metades da busca híbrida?
A primeira metade é a busca por palavras-chave, também chamada de busca lexical. Ela procura documentos que contêm as palavras da consulta e os pontua de acordo com a frequência com que essas palavras aparecem e o quanto são raras em toda a coleção. Uma fórmula de pontuação comum para isso é a BM25, que dá mais peso a termos incomuns e para de recompensar uma palavra depois que ela aparece algumas vezes.
A segunda metade é a busca vetorial. Um modelo transforma a consulta e cada trecho armazenado em um embedding, uma lista de números que codifica significado. O sistema retorna os trechos cujos embeddings ficam mais próximos do embedding da consulta. Esse é o mecanismo por trás da busca semântica, e ele consegue associar "como parar uma torneira pingando" a um trecho sobre consertar um vazamento na torneira mesmo que os dois quase não compartilhem palavras.
| Busca por palavras-chave | Busca vetorial | |
|---|---|---|
| Faz correspondência por | Palavras exatas e sua frequência | Proximidade de significado |
| Forte com | Nomes de produtos, números de modelo, códigos de erro, termos raros | Paráfrases, sinônimos, perguntas vagas ou conversacionais |
| Fraca com | Formulações diferentes para a mesma ideia | Identificadores exatos, termos novos ou incomuns que o modelo de embedding trata mal |
| Tipo de índice | Índice invertido de palavras | Índice vetorial de embeddings |
Por que combinar busca por palavras-chave e busca vetorial?
Cada método falha de formas previsíveis. A busca vetorial pode retornar um trecho sobre um produto parecido quando o usuário digitou um número de modelo específico, porque os embeddings de dois produtos relacionados ficam próximos. Já a busca por palavras-chave pode deixar passar um trecho perfeitamente relevante porque ele usa "custo" onde a consulta diz "preço".
Executar as duas e unir as listas cobre mais desses casos. Um trecho que fica bem posicionado nas duas listas costuma ser uma correspondência forte, e um trecho que fica bem posicionado em apenas uma ainda tem chance de aparecer. Na prática, a recuperação híbrida tende a retornar um conjunto de candidatos melhor do que qualquer um dos métodos isoladamente. Isso importa porque tudo o que vem depois no pipeline só pode trabalhar com o que a recuperação retornou.
Como a busca híbrida une os resultados?
As duas buscas produzem pontuações em escalas diferentes. Uma pontuação BM25 pode ser qualquer número positivo, enquanto a similaridade vetorial geralmente fica em uma faixa estreita. O sistema precisa de uma forma de combiná-las, e duas abordagens são comuns.
Fusão por posição recíproca
A fusão por posição recíproca (reciprocal rank fusion) ignora as pontuações brutas e usa apenas as posições. Cada trecho recebe um valor de um dividido por uma constante mais sua posição em cada lista, e os valores das duas listas são somados. Dependendo da constante, um trecho em terceiro lugar em uma lista e em quinto na outra acaba acima de um trecho em primeiro lugar em uma lista e ausente da outra. Como o método é simples e não exige ajuste das escalas de pontuação, ele é amplamente usado.
Combinação ponderada de pontuações
A outra abordagem normaliza os dois conjuntos de pontuações para a mesma faixa e depois os soma com pesos. Um sistema pode dar mais peso às pontuações por palavras-chave em uma busca de compras cheia de códigos de produto e mais peso às pontuações vetoriais em perguntas abertas. Isso dá um controle mais fino, embora os pesos precisem ser escolhidos por meio de testes.
Alguns sistemas usam uma terceira forma, chamada recuperação esparsa mais densa, em que um modelo treinado produz um vetor esparso de termos ponderados ao lado do embedding denso. Ela se comporta como a busca por palavras-chave com alguma compreensão de palavras relacionadas, e seus resultados são unidos aos resultados densos da mesma maneira.
Onde a busca híbrida entra em uma resposta de IA?
A busca híbrida é uma etapa de recuperação. Na geração aumentada por recuperação, o sistema primeiro recupera trechos candidatos e depois os passa para um modelo que escreve a resposta. A busca híbrida geralmente produz a primeira lista de candidatos, muitas vezes algumas dezenas ou algumas centenas de trechos.
Depois da fusão, muitos sistemas executam um reranqueador. Trata-se de um modelo que lê a consulta e cada trecho candidato juntos e atribui uma pontuação de relevância mais precisa. Ele é mais lento do que a primeira etapa de recuperação, por isso só é executado sobre a lista curta. Os trechos no topo depois do reranqueamento são os que entram na entrada do modelo de linguagem. Como a busca com IA escolhe quais fontes citar descreve as etapas posteriores com mais detalhes.
A configuração exata varia de produto para produto e raramente é publicada. Algumas ferramentas de busca com IA consultam um mecanismo de busca na web que já combina muitos sinais e depois aplicam seu próprio ranqueamento de trechos, enquanto outras mantêm seu próprio índice. Entre elas, o padrão geral de combinar correspondência lexical e semântica e depois reranquear é comum.
O que a busca híbrida significa para um site?
Como a recuperação híbrida considera tanto as palavras quanto o significado, uma página se beneficia de atender às duas metades. O lado das palavras-chave valoriza os termos literais que as pessoas digitam, como nomes de produtos, nomes de marcas, números de modelo, termos padrão do setor e a forma como os clientes se expressam. Se uma página descreve um produto apenas com jargão interno, a metade de palavras-chave pode não encontrá-la para a consulta óbvia.
No lado vetorial, o que conta é se o significado de um trecho fica claro por si só. Um parágrafo que diz o que algo é, para quem é ou como funciona produz um embedding próximo das perguntas que ele responde. Um trecho que depende dos parágrafos anteriores para fazer sentido produz um embedding mais vago e perde para textos mais claros em outros lugares.
Na prática, isso significa:
- Use os nomes exatos de produtos, recursos e categorias no texto em que eles são descritos, além da linguagem descritiva.
- Escreva seções que respondam a uma pergunta cada, com a resposta perto do início.
- Mantenha tabelas, especificações e definições em texto simples para que os dois índices consigam lê-las.
A recuperação decide quais trechos um modelo pode sequer citar, então mudanças na redação podem aparecer como mudanças na frequência com que uma marca é citada. Você só consegue ver essas variações executando os mesmos prompts repetidamente ao longo do tempo e registrando quais fontes aparecem, que é o que a medição de visibilidade em IA faz.
