En bref
En IA, un token est un petit morceau de texte, grosso modo quatre caractères ou trois quarts d'un mot anglais, dans lequel un modèle de langage lit et écrit. Les modèles ne voient pas les mots entiers comme vous ; ils découpent le texte en tokens, et le prix que vous payez comme la quantité qu'un modèle peut traiter d'un coup se mesurent en tokens, pas en mots. Comprendre les tokens est la clé pour piloter à la fois le coût et la qualité de tout ce que vous construisez avec l'IA.
Pourquoi des tokens, pas des mots
Les modèles traitent le texte en tokens car cela leur permet de gérer n'importe quelle langue, le code et les orthographes étranges de façon cohérente. Un mot court et fréquent peut être un token ; un mot long ou inhabituel peut en être plusieurs. Le code et le texte non anglais coûtent généralement plus de tokens que la même idée en anglais simple, ce qui influence directement votre facture.
Les tokens et votre facture
Les prix d'IA sont indiqués par million de tokens et répartis entre Input (ce que vous envoyez) et Output (ce que le modèle renvoie), l'Output étant en général plusieurs fois plus cher. Dans un workflow qui tourne des milliers de fois, raccourcir un prompt gonflé peut réduire fortement vos coûts. Envoyer moins de texte, mais plus pertinent, est presque toujours le bon geste.
Un autre "token" en sécurité
Attention à une homonymie. En IA, un token est un morceau de texte. En connexion et sécurité, un "token" signifie tout autre chose : une chaîne secrète qui prouve qui vous êtes, comme un access token. Ils partagent un mot mais sont des concepts sans rapport, alors lisez le contexte pour savoir lequel est visé.
Les tokens et le context window
Les tokens expliquent aussi une limite que vous rencontrez, le context window : le nombre maximum de tokens qu'un modèle peut prendre en compte d'un coup, y compris vos instructions, les fichiers collés, la conversation en cours et la réponse qu'il écrit. Quand cela se remplit, le modèle oublie de fait les parties les plus anciennes. C'est pourquoi les longs chats qui s'étalent perdent le fil de choses dites plus tôt, et pourquoi une conversation neuve donne souvent de meilleures réponses que d'empiler sur une ancienne. La leçon pratique est la même que pour les coûts : envoyez moins de texte, mais plus pertinent. Les tokens sont l'unité qui relie ce qu'un modèle peut retenir, la qualité de ses réponses et ce que vous payez, donc en avoir un sens approximatif vous rend meilleur dans tout ce que vous construisez avec l'IA.