L'IA avant les LLM
Pourquoi les modèles de langage sont un chapitre récent d'une histoire plus vaste
Il faut comprendre que l'IA n'a pas commencé avec les chatbots modernes : avant les LLM, il y a eu des décennies de tentatives basées sur la logique, les règles, la recherche, les statistiques et les réseaux neuronaux.
L'IA n'est pas née pour converser
Aujourd'hui, de nombreuses personnes rencontrent l'IA pour la première fois sous la forme d'une conversation : un chatbot qui répond à des questions, rédige des textes, résume des documents et aide à coder. Cela donne l'impression que l'intelligence artificielle a toujours été un langage naturel fluide. Ce n'est pas le cas.
Pendant une grande partie de l'histoire de l'IA, le rêve était différent : faire en sorte que les machines résolvent des problèmes, suivent des règles, prouvent des théorèmes, planifient des actions, jouent aux échecs, reconnaissent des modèles ou imitent des experts humains dans des domaines spécifiques.
Première grande vision : l'intelligence comme raisonnement symbolique
L'un des premiers paris solides était l'IA symbolique. L'idée était de représenter les connaissances à l'aide de symboles, de règles et de logique. Au lieu d'apprendre à partir de millions d'exemples, la machine recevrait des règles explicites sur le monde.
Ce type d'approche correspond à des affirmations telles que : si une personne est humaine, elle est mortelle ; Socrate est humain ; donc Socrate est mortel. La machine manipule des symboles selon des règles formelles. Cela semble élégant - et ça l'est. Mais le monde réel a tendance à être bien plus désordonné qu'un exercice de logique.
Systèmes experts : des machines avec un manuel d'expert
Puis sont apparus les systèmes experts : des programmes qui tentaient d'intégrer les connaissances des médecins, des ingénieurs, des analystes ou d'autres spécialistes dans une vaste collection de règles.
Ils pouvaient bien travailler dans des domaines étroits lorsque les règles étaient claires. Mais ils ont du mal avec les exceptions, l'ambiguïté, le bon sens et les situations nouvelles. C'est comme s'ils essayaient de faire entrer le monde entier dans un classeur de règles. Courageux, mais un peu fous - dans le meilleur sens académique du terme.
Recherche : l'intelligence comme exploration des possibilités
La recherche est une autre tradition importante de l'IA. Imaginez un jeu, un labyrinthe ou un problème de planification. La machine doit explorer les chemins possibles jusqu'à ce qu'elle trouve une bonne solution.
Au lieu de "comprendre" le monde comme le fait une personne, il peut tester des états : si je fais ceci, j'arrive là ; si je choisis un autre chemin, j'arriverai peut-être mieux. Ce point de vue était très important pour les jeux, la planification et la résolution de problèmes.
Graphes : la connaissance en tant que réseau de relations
Les graphiques apparaissent naturellement lorsque l'on veut représenter des relations : une chose liée à une autre. Des personnes connectées dans un réseau social, des villes connectées par des routes, des concepts connectés par leur signification, des pages connectées par des liens.
Dans l'IA, les graphes aident à représenter la connaissance et la recherche. Si "café" est lié à "boisson", "caféine" et "tasse", la machine peut naviguer dans ces relations. C'est un outil puissant pour les connaissances explicites, mais qui ne résout pas à lui seul la complexité du langage humain.
Le tournant statistique : apprendre des modèles à partir de données
Au fil du temps, une idée s'est imposée : au lieu d'écrire toutes les règles à la main, nous pouvons donner des exemples à la machine et la laisser apprendre des modèles.
Ce tournant statistique déplace le centre de l'IA. La question n'est plus "quelles règles devons-nous écrire ?" mais "quels modèles apparaissent dans les données ? Cela ouvre la voie à la classification, à la prédiction, à la reconnaissance vocale, à la traduction automatique et, plus tard, aux modèles linguistiques modernes.
Réseaux neuronaux : connexions ajustables
Les réseaux neuronaux sont des systèmes dotés de nombreuses connexions ajustables. Ils reçoivent une entrée, la transforment à travers des couches et produisent une sortie. Au cours de l'apprentissage, les poids de ces connexions sont ajustés pour réduire l'erreur.
Il est tentant de dire qu'ils "imitent le cerveau", mais cette métaphore doit être utilisée avec précaution. Pour ce cours, il est préférable de les considérer comme des machines mathématiques flexibles qui apprennent des transformations à partir d'exemples.
Pourquoi les LLM sont la rencontre de plusieurs traditions
Les grands modèles linguistiques ne sont pas nés de nulle part. Ils combinent plusieurs fils historiques : des statistiques pour prédire des modèles, des réseaux neuronaux pour apprendre des représentations, des jetons pour transformer le texte en unités manipulables, de l'attention pour relier des parties du contexte et du matériel puissant pour réaliser tout cela à grande échelle.
Lorsque nous examinons un LLM, nous voyons un chapitre récent d'une histoire plus vaste. Il ne remplace pas toute l'intelligence artificielle antérieure ; il hérite d'idées, résout d'anciens problèmes et en crée de nouveaux. Un ensemble complet : brillant, coûteux et parfois dramatique.
Carte mentale initiale
Écrivez trois façons différentes d'imaginer l'"intelligence" d'une machine : suivre des règles, chercher des chemins et apprendre des modèles. Donnez ensuite un exemple simple pour chacune d'entre elles.
Voir la réponse attendue
Respecter des règles : s'il pleut, prendre un parapluie. Chercher des chemins : trouver le chemin le plus court sur la carte. Apprendre des modèles : voir de nombreuses phrases et remarquer qu'après "bon" vient souvent "matin". Ces trois idées apparaissent à différentes phases de l'IA.
Les LLM sont récents mais s'inscrivent dans une longue histoire. Avant eux, l'IA explorait les règles, la logique, les systèmes experts, la recherche, les graphes, les statistiques et les réseaux neuronaux.