Du comptage aux modèles neuronaux
Ce qui change lorsque nous abandonnons le tableau des n-grammes
Comprendre la transition entre une machine à compter transparente et des modèles neuronaux qui apprennent des représentations plus flexibles.
Ce que notre machine à n-grammes a bien fait
La machine interactive du module 2 observe les séquences et compte les suites. Si, après "J'aime", le mot "café" apparaît, elle l'enregistre dans le tableau.
Cette approche est excellente pour l'apprentissage car elle est transparente. Nous pouvons ouvrir le tableau, voir les comptes et expliquer chaque choix.
La limite de la répétition exacte
Le problème est que la machine à n-grammes dépend fortement des séquences déjà vues. Si le corpus n'a jamais eu "J'aime le café", il peut ne pas savoir que cette séquence est similaire à "J'aime le café".
Les modèles neuronaux apprennent à mieux gérer la similarité, le contexte et la généralisation. Au lieu de dépendre uniquement de la répétition exacte, ils apprennent des représentations internes.
Les représentations sont le saut
Le mot "café" cesse d'être une simple étiquette ou une entrée dans un tableau. Il commence à être représenté par des nombres qui rendent compte des relations avec d'autres mots.
Ce saut ouvre la voie aux encastrements, à l'attention et aux modèles modernes. La machine commence à travailler avec des voisinages de sens, et pas seulement avec des comptages locaux.
L'écart de comptage
Pensez à un corpus qui contient "J'aime le café" mais qui n'a jamais eu "J'aime le café". Pourquoi la machine à n-grammes ne peut-elle pas utiliser la similarité entre "like" et "love" ? De quoi aurait-elle besoin ?
Voir la réponse attendue
Pour le tableau, "like" et "love" sont des symboles différents sans aucune relation - il ne connaît que des séquences exactes. Il aurait besoin d'une représentation qui rapproche les mots de signification similaire. C'est exactement ce que proposent les "embeddings".
Les modèles modernes n'abandonnent pas les statistiques, ils les sophistiquent. Nous passons de comptages explicites à des représentations apprises qui permettent une meilleure généralisation.