Laboratoire interactif
La Small Language Machine gagne un corpus, des boutons et une génération
Transformez le prototype conceptuel du module 1 en une expérience interactive : éditez le corpus, observez les tokens, construisez le tableau de continuation et générez du texte.
Ce que fait ce module
Dans ce module, vous ne vous contentez pas de lire des informations sur la machine, vous la manipulez. Le laboratoire ci-dessus prend vie au fur et à mesure que vous éditez.
Il affiche le corpus, les tokens, le vocabulaire, les contextes, le tableau de continuation, les probabilités et le texte généré - le tout en même temps, en réagissant à ce que vous tapez.
La machine est volontairement simple
Il ne s'agit pas d'un LLM moderne. Il s'agit d'une machine à compter les n-grammes, comme dans les leçons 7 et 10.
C'est justement parce qu'il est petit qu'il est transparent : on peut voir d'où vient chaque suite. Il ne s'agit pas d'une boîte noire, mais d'une petite boîte en verre.
Premier contact
Dans le laboratoire ci-dessus, cliquez sur "Générer étape par étape" et avancez étape par étape. Remarquez : à chaque étape, qu'est-ce qui apparaît avant que la machine ne choisisse le jeton suivant ?
Voir la réponse attendue
Avant de choisir, la machine affiche le contexte (les derniers mots) et la liste des continuations possibles avec leurs probabilités. Le choix ne vient pas de nulle part : il vient du tableau que la machine a construit à partir de votre corpus.
L'objectif du laboratoire est d'ouvrir la mini-boîte noire : observer la génération du langage étape par étape, avec chaque décision à la vue de tous.