Da contagem aos modelos neurais
O que muda quando saímos da tabela de n-gramas
Entender a transição entre uma máquina de contagem transparente e modelos neurais que aprendem representações mais flexíveis.
O que nossa máquina de n-gramas fazia bem
A máquina interativa do Módulo 2 observava sequências e contava continuações. Se depois de ‘eu gosto de’ aparecia ‘café’, ela guardava isso na tabela.
Essa abordagem é excelente para aprender porque é transparente. Podemos abrir a tabela, ver as contagens e explicar cada escolha.
O limite da repetição exata
O problema é que a máquina de n-gramas depende muito de sequências já vistas. Se o corpus nunca teve ‘eu adoro café’, ela talvez não saiba que isso é parecido com ‘eu gosto de café’.
Modelos neurais entram para lidar melhor com semelhança, contexto e generalização. Em vez de depender só de repetição exata, eles aprendem representações internas.
Representações são o salto
A palavra ‘café’ deixa de ser apenas uma etiqueta ou uma entrada numa tabela. Ela passa a ser representada por números que capturam relações com outras palavras.
Esse salto abre caminho para embeddings, atenção e modelos modernos. A máquina começa a trabalhar com vizinhanças de significado, não só com contagens locais.
O furo da contagem
Pense num corpus que tem ‘eu gosto de café’ mas nunca teve ‘eu adoro café’. Por que a máquina de n-gramas não consegue aproveitar a semelhança entre ‘gosto’ e ‘adoro’? O que faltaria para ela conseguir?
Ver resposta esperada
Para a tabela, ‘gosto’ e ‘adoro’ são símbolos diferentes, sem nenhuma relação — ela só conhece sequências exatas. Faltaria uma representação que aproximasse palavras de sentido parecido. É exatamente o que os embeddings trazem.
Modelos modernos não abandonam a estatística; eles a sofisticam. Saímos de contagens explícitas para representações aprendidas que permitem generalizar melhor.