Tokens & Fenêtre de contexte
L'unité atomique du texte et la mémoire de travail d'un LLM
Qu'est-ce qu'un token ?
Un LLM ne lit pas les mots comme toi. Il découpe d'abord le texte en tokens — des fragments qui correspondent approximativement à des syllabes, des petits mots ou des morceaux de mots.
Pourquoi ne pas simplement utiliser les mots entiers ? Parce que la langue est trop riche : des mots inconnus, des noms propres, des mots composés, des langues différentes… La tokenisation permet au LLM de traiter n'importe quel texte, même des mots qu'il n'a jamais vus.
Chaque case colorée = 1 token
→ "Bonjour, comment vas-tu ?"
→ "L'intelligence artificielle"
→ "1234567890"
Les chiffres sont souvent découpés en plusieurs tokens — et surtout, le LLM prédit plutôt qu'il ne calcule, ce qui explique ses limites en arithmétique.
La fenêtre de contexte
La fenêtre de contexte (ou "context window") est la quantité maximale de tokens que le modèle peut traiter en une seule fois. C'est sa mémoire de travail.
Tout ce qui dépasse cette limite est simplement oublié. Le modèle ne voit pas la partie excédentaire de la conversation — comme si tu avais arraché les premières pages d'un livre.
Tout compte ! Le prompt système, tes messages, les réponses précédentes, les documents que tu colles. C'est le total qui doit rester sous la limite du modèle.
L'évolution des fenêtres de contexte
En quelques années, les fenêtres de contexte ont explosé. Ce qui était impossible en 2020 (analyser un roman entier en une fois) est devenu banal en 2024–2025.
Conséquences pratiques
Les tokens ont aussi un coût financier. Les fournisseurs d'IA facturent à la consommation : généralement quelques centimes par million de tokens. Pour une utilisation personnelle, c'est négligeable. Pour une application qui traite des milliers de requêtes par jour, ça devient un poste budgétaire à piloter.