IA générative et LLM : la machine à prédire le mot suivant

Quand tu écris à ChatGPT, il semble te comprendre, réfléchir, puis te répondre. La réalité est plus étrange : sous le capot, le modèle exécute une seule et même opération, des centaines de fois par réponse. Il prédit le morceau de mot le plus probable après tout ce qui précède. C'est tout. Pas de base de données qu'il consulte, pas de raisonnement au sens où tu l'entends, pas d'opinion. Cette leçon t'explique comment une mécanique aussi simple produit des réponses aussi bluffantes, et pourquoi cette mécanique explique à la fois les forces et les faiblesses de l'outil que tu utilises tous les jours.

Un LLM, c'est quoi au juste ?

LLM signifie Large Language Model : grand modèle de langage. « Grand » n'est pas un mot en l'air. GPT-3, le modèle qui a précédé ChatGPT, comptait 175 milliards de paramètres, les réglages internes que l'entraînement ajuste. Pour l'entraîner, on lui a fait avaler des centaines de milliards de mots : des pages web, des livres, des articles, des forums. L'exercice d'entraînement tient en une consigne : devine le mot suivant. « Le chat dort sur le… » : le modèle propose, on le corrige, il s'ajuste. Des milliards de fois. À la fin, il n'a pas mémorisé le web : il a appris les régularités statistiques de la langue. Lesquelles suffisent, à cette échelle, pour produire de la grammaire impeccable, du style, et une bonne partie des connaissances courantes.

La machine à prédire le mot suivant

Des tokens, pas des mots

Le modèle ne lit pas des mots : il lit des tokens, des fragments d'environ quatre caractères. « Bonjour » tient en un ou deux tokens, « anticonstitutionnellement » en réclame une demi-douzaine. Mille tokens représentent environ 750 mots en français. Pourquoi t'embêter avec ça ? Parce que tout se compte en tokens dans le monde des LLM : la longueur de tes documents, le prix des outils professionnels, et surtout la taille de la fameuse fenêtre de contexte que tu découvriras à la leçon 4. Première unité de mesure de ta nouvelle culture IA.

Prédire n'est pas comprendre

Voici le point qui change ta façon d'utiliser l'outil. Quand tu demandes la date de naissance de Victor Hugo, le modèle ne va pas chercher dans une fiche : il complète ta phrase avec la suite la plus probable, apprise pendant l'entraînement. Pour Victor Hugo, vu des milliers de fois dans les données, la suite probable est la bonne : 1802. Pour un fait rare, récent ou pointu, la suite la plus probable peut être fausse, et le modèle l'énonce avec le même aplomb. Tu viens de comprendre l'origine des hallucinations, le sujet de la leçon 5. Au passage : c'est aussi pour ça qu'un LLM n'a ni opinion ni conscience. Produire la phrase « je pense que » est un motif statistique, pas une pensée.

Pourquoi ça marche aussi bien, alors ?

Si prédire le mot suivant suffisait à écrire n'importe quoi, ChatGPT n'aurait pas 100 millions d'utilisateurs. L'explication tient à l'échelle : pour bien prédire le mot suivant sur l'ensemble du web, le modèle est forcé d'intégrer la grammaire, les styles, les faits répétés mille fois, les structures d'argumentation, les formats de documents. La prédiction devient un raccourci vers tout le reste. Deuxième ingrédient : après ce pré-entraînement, des humains notent et corrigent les réponses du modèle pour le rendre utile, poli et prudent. C'est ce réglage final qui transforme un moteur statistique brut en assistant utilisable au bureau.