Comprendre les LLM
Comment les grands modèles de langage fonctionnent vraiment.
Le robot qui devine le mot suivant
Tu connais ChatGPT ou Siri ? C'est une IA qui parle. Elle joue à un seul jeu : deviner le mot suivant.
Tu lui dis : « Le chat mange du... ». Le robot devine : « poisson ».
Pour deviner, le robot suit 8 étapes. On va les regarder une par une, comme un jeu de piste.
Étape 1 — On coupe la phrase en morceaux
Le robot ne lit pas les phrases entières. Trop dur. Il les coupe d'abord en petits morceaux.
Un morceau, c'est : un mot, un bout de mot, ou un signe (point, virgule…).
Chaque morceau s'appelle un « token ». Retiens ce mot, c'est le seul qu'on garde.
Étape 2 — On donne un sens à chaque morceau
Maintenant que les morceaux sont là, il faut leur donner un SENS.
Le robot a une carte magique. Sur cette carte, il range tous les mots.
Les mots qui veulent dire des choses pareilles sont voisins sur la carte. 🐱 est près de 🐶. 🍎 est loin de 🚗.
Étape 3 — On met les morceaux dans l'ordre
L'ordre des mots, ça change TOUT.
Le robot lit tous les morceaux en même temps (c'est plus rapide). Mais il pourrait les confondre.
Alors on colle un numéro à chaque morceau : 1, 2, 3, 4... Comme ça, le robot sait toujours qui vient avant qui.
Étape 4 — Les morceaux se regardent entre eux
Chaque morceau pose une question aux autres : « QUI me concerne dans la phrase ? »
Exemple : le mot « mange » a besoin de savoir qui mange (« chat ») et quoi (« souris »). Il les regarde fort.
« Dans le jardin », c'est moins important pour le sens du verbe. Il le regarde moins.
Étape 5 — Chaque morceau réfléchit tout seul
Après s'être regardés, chaque morceau prend un moment de pause. Il réfléchit dans sa tête.
Plus on monte dans les étapes, plus les pensées deviennent malines :
- Au début : « Suis-je en majuscule ? »
- Plus tard : « Suis-je un nom de personne célèbre ? »
- Tout en haut : « Faut-il être prudent en parlant de moi ? »
C'est dans cette étape que le robot stocke tout ce qu'il SAIT du monde.
Étape 6 — Les ceintures de sécurité
Le robot transforme beaucoup les morceaux. Trop, parfois. Il risquerait d'oublier ce qu'ils étaient au départ.
Solution : à chaque étape, on garde une COPIE de l'original. Comme une sauvegarde. Si la transformation rate, on a toujours la copie.
C'est ce qui permet au robot d'enchaîner 60 ou 80 étapes sans tout casser.
Étape 7 — Le robot choisit le mot suivant
Tout le voyage est fini. Maintenant, le robot doit choisir UN seul mot pour continuer la phrase.
Il calcule une CHANCE pour chaque mot possible. Genre 100 000 mots, 100 000 chances.
Le mot qui a la plus grosse chance est choisi. Ici : « poisson ».
Étape 8 — On recommence pour le mot d'après !
Une fois le mot choisi (« poisson »), on l'ajoute à la phrase.
Maintenant la phrase est « Le chat mange du poisson ». Le robot recommence TOUTES les 8 étapes pour deviner le mot d'APRÈS.
Mot par mot. Jusqu'à un point final. Pour écrire un texte de 100 mots, le robot fait 100 fois ce voyage.
Récap : tu sais comment ça marche !
Voilà ! Le robot n'a pas de magie. Il :
- coupe la phrase ✂️
- donne un sens à chaque morceau 🌌
- ajoute l'ordre 🔢
- fait regarder les morceaux entre eux 👁
- les fait réfléchir tout seul 💭
- met des ceintures de sécurité 🛟
- choisit le mot suivant 🎯
- recommence 🔁
À force de répéter ces 8 étapes, le robot écrit des histoires, fait des blagues, répond à tes questions.
Envie d'aller plus loin ?
Nos formations clients vont plus loin, avec accompagnement et mise en pratique sur votre contexte.
Réserver un échange