Como funciona um LLM: a jornada do seu texto até a resposta da IA

Um LLM funciona repetindo um único truque em altíssima velocidade: ele recebe o seu texto, divide tudo em pequenos pedaços chamados tokens e calcula qual é o pedaço com mais chance de vir a seguir. Depois adiciona esse pedaço à sequência e refaz o cálculo, token por token, até formar a resposta completa. Não existe um banco de respostas prontas nem uma busca na internet por trás de cada frase: existe um modelo treinado para prever continuações de texto com uma precisão que, na prática, parece conversa.

Resposta rápida: o mecanismo de um LLM tem três etapas: tokenização (o texto vira números), previsão (o modelo calcula o próximo token mais provável) e geração (a previsão se repete em cadeia até a resposta terminar). O GPT do ChatGPT é exatamente isso: um LLM generativo, pré-treinado, construído sobre a arquitetura Transformer.

Se você quer começar pela definição do termo — o que significa "modelo de linguagem grande", de onde vem o nome e quais são os principais exemplos — esse mapa está em o que é LLM. Aqui a missão é outra: abrir o capô e mostrar, passo a passo, o que acontece entre o momento em que você aperta Enter e o momento em que a resposta aparece.

Etapa 1: tokenização, quando o texto vira peças

Antes de qualquer cálculo, o LLM precisa converter o seu texto em algo que uma máquina consiga processar: números. Esse trabalho se chama tokenização. A frase é fatiada em tokens — pedaços que podem ser uma palavra inteira, um fragmento de palavra, um espaço ou um sinal de pontuação — e cada token recebe um número de identificação fixo no vocabulário do modelo.

A central de ajuda da OpenAI dá uma régua prática: 1 token equivale a cerca de 4 caracteres, ou três quartos de uma palavra em inglês, e 100 tokens correspondem a aproximadamente 75 palavras. A documentação do Google para a API do Gemini usa a mesma medida: cerca de 4 caracteres por token, com 100 tokens valendo entre 60 e 80 palavras em inglês. Em português a proporção varia um pouco, porque nossas palavras são mais longas, mas a lógica é idêntica.

Por que tokens, e não palavras inteiras?

Tokens resolvem dois problemas de uma vez. Primeiro, nenhum vocabulário daria conta de todas as palavras possíveis — incluindo nomes próprios, gírias novas e erros de digitação. Quebrando o texto em fragmentos reaproveitáveis, o modelo consegue montar até palavras que nunca viu. Segundo, os mesmos pedaços servem para milhares de combinações, o que mantém o vocabulário em um tamanho administrável.

Um detalhe curioso da documentação da OpenAI mostra como o processo é literal: a palavra "red" pode virar três tokens diferentes dependendo do contexto — minúscula no meio da frase, maiúscula no meio da frase ou maiúscula no início. Para nós é a mesma palavra; para o modelo, são peças distintas. É também em tokens que se mede o limite de contexto: a quantidade máxima de texto que o modelo consegue considerar de uma vez ao gerar a resposta.

Etapa 2: a previsão do próximo token

Com o texto convertido em números, começa a parte que parece mágica — e que é, na verdade, estatística em escala gigantesca. O modelo recebe a sequência de tokens e calcula, para cada token do seu vocabulário, a probabilidade de ele ser o próximo da frase.

Pense na frase "O céu hoje está bem...". Para um modelo treinado, "azul" e "nublado" recebem probabilidades altas, "carregado" recebe uma probabilidade média, e "melancia" fica perto de zero. Esse ranking de probabilidades é refeito do zero a cada novo token, levando em conta tudo o que veio antes na conversa.

De onde vem esse instinto: o treinamento

A capacidade de prever bem não foi programada regra por regra: ela emergiu do treinamento. O modelo é uma rede neural com bilhões de parâmetros ajustados ao longo de semanas de exposição a volumes enormes de texto. A tarefa do treino é simples de enunciar: dado o início de um trecho, acertar a continuação. Para ficar bom nisso, porém, o modelo precisa absorver gramática, fatos, estilos de escrita e até raciocínios comuns — tudo como efeito colateral de prever o próximo token.

Esse aprendizado deixa marcas concretas dentro do modelo. Em uma pesquisa de interpretabilidade, a Anthropic conseguiu mapear milhões de "características" internas no Claude, seu modelo de linguagem: representações que se acendem para conceitos específicos, de cidades e pessoas a ideias abstratas como ironia. Ou seja, para prever bem, o LLM constrói por dentro uma espécie de mapa de conceitos — mesmo que ninguém o tenha desenhado à mão.

Nem sempre o token mais provável vence

Se o modelo escolhesse sempre o primeiro colocado do ranking, as respostas sairiam repetitivas e engessadas. Por isso a geração inclui um sorteio controlado entre os tokens mais prováveis, com um grau de aleatoriedade ajustável. É essa pitada de variação que explica por que a mesma pergunta, feita duas vezes, pode gerar duas respostas diferentes — ambas coerentes, nenhuma copiada de lugar algum.

Etapa 3: geração, um token de cada vez

A etapa final é a repetição em cadeia. O modelo prevê um token, anexa esse token à sequência e refaz a previsão considerando a sequência atualizada. Cada palavra que ele "escreve" passa a fazer parte da entrada do próximo cálculo. O ciclo continua até o modelo produzir um token especial de parada ou atingir o limite de tamanho, e só então os números são convertidos de volta em texto legível.

É exatamente por isso que você vê o ChatGPT "digitando" aos poucos: aquela animação não é enfeite, é a corrente de previsões acontecendo em tempo real, token após token. Quem já leu como funciona o ChatGPT reconhece o quadro completo: o produto embrulha esse ciclo de previsão em um formato de conversa, com memória do diálogo e filtros de segurança por cima.

O que é GPT, afinal?

GPT é a sigla de Generative Pre-trained Transformer, e cada palavra descreve uma peça do mecanismo que acabamos de ver:

• Generative (generativo): o modelo gera texto novo, token a token, em vez de classificar ou apenas buscar conteúdo existente.
• Pre-trained (pré-treinado): ele primeiro aprende com um volume gigantesco de texto e depois é refinado para seguir instruções com qualidade e segurança.
• Transformer: é a arquitetura de rede neural, apresentada em 2017, cujo mecanismo de atenção permite avaliar todos os tokens da entrada ao mesmo tempo e decidir quais importam mais para a previsão.

GPT, portanto, é o nome da família de LLMs da OpenAI — assim como Gemini é a do Google, Claude é a da Anthropic e Llama é a da Meta. As marcas mudam, os tamanhos mudam, mas o mecanismo central de tokenização, previsão e geração é o mesmo em todos.

O que um LLM não faz

Entender o mecanismo também ajuda a desfazer mitos comuns:

• Ele não busca respostas em um banco de dados. O texto é gerado na hora. Quando um assistente cita notícias recentes, é porque ganhou uma ferramenta de busca acoplada, não porque o modelo "sabe" o que aconteceu ontem.
• Ele não entende como um humano. O modelo manipula padrões estatísticos de linguagem. O resultado é frequentemente indistinguível de compreensão, mas a base é previsão, não consciência.
• Ele não sabe o que é verdade. Probabilidade alta não é sinônimo de fato. Quando falta informação, o modelo completa a frase com o que é plausível, e nasce aí a alucinação de IA: um texto confiante e errado.
• Ele não aprende com você em tempo real. O que você escreve fica no contexto temporário da conversa; os parâmetros do modelo, ajustados no treinamento, permanecem fixos.

Como usar esse conhecimento a seu favor

Saber como funciona um LLM muda a forma de conversar com ele. Se tudo é previsão de continuação, então a qualidade do que você recebe depende do material que você fornece. Três consequências práticas:

1. Contexto pesa. Quanto mais claro o cenário que você descreve, mais o ranking de probabilidades se alinha ao que você quer. É a base de um bom comando, como mostramos em o que é prompt.
2. Tamanho importa. O limite de contexto é medido em tokens. Conversas muito longas estouram esse limite e o modelo "esquece" o início — resuma e recomece quando notar perda de fio.
3. Revisão é parte do uso. Para textos criativos, a previsão estatística é uma aliada; para números, leis e fatos sensíveis, confira sempre em fontes oficiais.

No fim, o segredo de um LLM cabe em uma frase: ele transforma linguagem em números, prevê a continuação mais provável e repete isso até parecer diálogo. Simples na ideia, gigantesco na escala — e, agora que você conhece as três etapas, muito mais fácil de usar bem.