Brouillon en relecture. Ce contenu n’a pas encore été validé par l’auteur.
Une machine à prédire la suite
À la fin de cette étape, vous saurez :
- Expliquer qu’un modèle de langage prédit la suite d’un texte, token après token
- Savoir ce que sont un token et une fenêtre de contexte
Situation
Sonia est bluffée : l’assistant répond à tout, dans un français impeccable. « Il a dû tout lire, et il cherche la réponse dans sa mémoire », pense-t-elle. Est-ce ainsi qu’il fonctionne ?
L’essentiel
Un grand modèle de langage, à lui seul, ne va pas chercher une réponse dans une base de données. Il prédit la suite la plus probable du texte, un Token Unité de texte traitée par un modèle. Voir le glossaire après l’autre GPT-4 Technical Report (mars 2023)OpenAI (arXiv).
Source primaire · consultée le 25 septembre 2026
Consulter la source. C’est pourquoi il écrit si bien… et pourquoi il peut se tromper avec aplomb.
Trois notions pour comprendre
Le token. Le modèle ne lit pas des mots, mais des tokens : des mots, des morceaux de mots, des caractères. Pour Claude, un token représente environ 3,5 caractères de texte anglais ; le nombre varie selon la langue Glossaire de la documentation (tokens, température, fenêtre de contexte, RAG)Anthropic.
Source primaire · consultée le 25 septembre 2026
Consulter la source.
La prédiction. À chaque étape, le modèle calcule la probabilité de chaque suite possible, en choisit une, puis recommence avec le texte ainsi allongé. Une réponse entière se construit ainsi, token après token.
La Fenêtre de contexte Quantité de texte qu’un modèle peut prendre en compte pour produire sa réponse (question, échanges précédents, documents fournis) ; une mémoire de travail, distincte des données d’entraînement. Voir le glossaire. C’est la quantité de texte que le modèle peut prendre en compte pour répondre : votre question, les échanges précédents, les documents fournis. Une sorte de mémoire de travail, distincte de tout ce qu’il a lu pendant son entraînement.
Vrai ou faux
Comment répond un modèle de langage ?
Vrai ou faux ?
ComprendreDu modèle brut à l’assistant
Un modèle seulement entraîné à prédire la suite des textes répond mal aux questions. On l’ajuste ensuite (Fine-tuning Ajustement d'un modèle sur des données spécifiques. Voir le glossaire), notamment avec des retours humains sur ses réponses (apprentissage par renforcement, RLHF), pour en faire un assistant qui suit des consignes Glossaire de la documentation (tokens, température, fenêtre de contexte, RAG)Anthropic.
Source primaire · consultée le 25 septembre 2026
Consulter la source.
À retenir
- Un modèle de langage prédit la suite d’un texte, token après token ; il ne consulte pas une base de faits.
- Il raisonne dans une fenêtre de contexte : ce que vous lui fournissez compte.
- Bien écrit ne veut pas dire vrai : la prédiction vise le plausible.
Sources
- GPT-4 Technical Report (mars 2023), OpenAI (arXiv)source primaire
- Glossaire de la documentation (tokens, température, fenêtre de contexte, RAG), Anthropicsource primaire
Contenu tiré de la base de connaissance du site (§2.2, §2.10), dont chaque affirmation est sourcée et datée. Dernière vérification des sources : 25 septembre 2026.
Fin de l’étape
Faites les activités de la page, puis terminez l’étape.