Um modelo de linguagem de grande porte, ou LLM, é uma rede neural treinada com uma coleção muito grande de textos para prever o próximo token de uma sequência. Um token é uma palavra ou um pedaço de palavra. Diante de "A capital da França é", o modelo atribui uma probabilidade a cada próximo token possível, e "Paris" fica em primeiro lugar. Se for pedido que continue, ele prevê o token seguinte, e o seguinte a esse, até produzir um token de parada.
Tudo o que um LLM faz na prática, de responder perguntas a escrever o parágrafo no topo de um resultado de busca com IA, é construído sobre essa única tarefa de previsão. O modelo não tem um banco de dados de fatos nem um mecanismo de busca dentro dele. O que ele tem é um retrato estatístico muito detalhado de como o texto costuma continuar, aprendido a partir do texto com que foi treinado.
Como um modelo de linguagem de grande porte é treinado?
O treinamento acontece em etapas, e cada etapa muda aquilo em que o modelo é bom.
O pré-treinamento é a parte cara. O modelo lê um grande corpus de páginas da web, livros, código e outros textos, e ajusta seus pesos internos para que suas previsões do próximo token melhorem. Ninguém rotula os dados. O próprio texto é a supervisão: o modelo tenta adivinhar o próximo token, compara o palpite com o token real e se corrige. Ao longo de bilhões de exemplos, isso produz um modelo que absorveu gramática, fatos, padrões de raciocínio e o estilo de muitos tipos de escrita.
O ajuste fino ensina o modelo pré-treinado a se comportar como um assistente. Ele é treinado com exemplos de perguntas e boas respostas, e assim aprende a responder a instruções em vez de continuar o prompt como se fosse um documento. O ajuste fino também pode especializar um modelo em um domínio ou em uma tarefa.
O treinamento por preferência ajusta o modelo com feedback humano ou automatizado sobre qual de duas respostas é melhor. É aqui que um modelo aprende a recusar pedidos nocivos, a admitir incerteza e a formatar respostas do jeito que as pessoas esperam.
Os pesos com que o modelo termina são seus parâmetros. Um modelo maior tem mais parâmetros, o que geralmente significa previsões melhores a um custo maior por token. O tamanho dos modelos é medido em bilhões de parâmetros.
O que são tokens e a janela de contexto?
Os modelos não leem caracteres nem palavras inteiras. Eles leem tokens, que são pedaços de texto escolhidos de forma que palavras comuns sejam um único token e palavras raras se dividam em vários. Em prosa em inglês, a média é de cerca de três quartos de palavra por token.
A janela de contexto é o número máximo de tokens que o modelo consegue receber de uma vez, contando as instruções de sistema, a conversa até ali, os documentos recuperados e a resposta que ele está escrevendo. O texto fora da janela não existe para o modelo. Na busca com IA, esse limite decide quantos trechos recuperados podem ser mostrados ao modelo para uma resposta, o que é um dos motivos pelos quais os sistemas de recuperação selecionam alguns bons trechos em vez de páginas inteiras.
Por que um modelo pode ser fluente e ainda assim estar errado?
O modelo é treinado para produzir texto provável, e texto provável costuma ser texto verdadeiro, porque a maior parte dos dados de treinamento foi escrita por pessoas descrevendo o mundo. Mas as duas coisas não são iguais. Quando o modelo não viu informações confiáveis sobre um assunto, ele ainda produz uma continuação fluente, e essa continuação pode ser uma frase confiante e bem construída com um fato errado. Isso é uma alucinação de IA.
Duas propriedades do treinamento tornam o problema previsível. O conhecimento do modelo termina na sua data de corte do conhecimento, a data do texto mais recente no conjunto de treinamento, então tudo o que vem depois é desconhecido. E assuntos raros são cobertos por pouco texto de treinamento, então o retrato que o modelo tem deles é borrado. Um modelo sabe muito sobre Paris e muito pouco sobre uma pequena empresa lançada no ano passado.
A correção padrão é entregar os fatos ao modelo no momento da pergunta, em vez de depender do que ele absorveu durante o treinamento. É isso que a geração aumentada por recuperação faz, e é o design por trás de todo produto de busca com IA.
Como os mecanismos de busca com IA usam modelos de linguagem?
A busca com IA usa um modelo de linguagem em pelo menos três lugares. Ele escreve as consultas de busca enviadas ao índice, transformando uma pergunta vaga em consultas específicas. Ele lê os trechos recuperados e decide quais respondem à pergunta. E ele escreve a resposta final, anexando citações aos trechos que usou.
Nos três papéis, o modelo trabalha a partir do texto que recebeu durante a solicitação. É por isso que as páginas que um mecanismo de busca consegue encontrar, e os trechos dentro delas que se sustentam sozinhos, decidem o que a resposta diz e quais marcas ela menciona.
