Um modelo de linguagem é um sistema treinado para trabalhar com padrões da linguagem. Em versões modernas e de grande escala, ele aprende relações estatísticas a partir de enormes quantidades de texto e outros dados.
A ideia central parece simples: dado um contexto, o modelo estima quais elementos têm maior probabilidade de vir em seguida. Só que, em modelos grandes, essa tarefa se torna sofisticada o suficiente para produzir respostas longas, resumir documentos, traduzir, escrever código e seguir instruções.
O modelo não guarda uma biblioteca perfeita de frases prontas para cada pergunta. Durante o treinamento, seus parâmetros são ajustados para representar padrões encontrados nos dados.
Quando recebe um comando, o sistema transforma o texto em unidades menores, normalmente chamadas de tokens, processa o contexto e gera a resposta passo a passo.
Isso explica duas características que parecem opostas.
A primeira é a flexibilidade: o mesmo modelo pode lidar com temas e tarefas muito diferentes sem ter sido programado manualmente para cada pergunta.
A segunda é a possibilidade de erro. Como o processo envolve previsão e geração, o modelo pode produzir uma frase plausível que não corresponde aos fatos. É o que costuma ser chamado de alucinação.
Modelos também possuem uma janela de contexto, que limita a quantidade de informação que conseguem considerar de uma vez em uma interação.
A sigla LLM vem de Large Language Model, ou grande modelo de linguagem. O “grande” se refere à escala de parâmetros, dados e capacidade computacional envolvida.
Quando um chatbot parece conversar como uma pessoa, portanto, isso não significa que exista uma lista de respostas escritas por humanos por trás de cada frase. A conversa é gerada dinamicamente a partir do modelo, das instruções e do contexto disponível.
.jpg?width=1280)