Kurz gesagt
In KI ist ein Token ein kleines Textstück, grob vier Zeichen oder drei Viertel eines englischen Wortes, in dem ein Sprachmodell liest und schreibt. Modelle sehen ganze Wörter nicht so, wie du es tust; sie zerlegen Text in Tokens, und sowohl der Preis, den du zahlst, als auch die Menge, die ein Modell auf einmal verarbeiten kann, werden in Tokens gemessen, nicht in Wörtern. Tokens zu verstehen ist der Schlüssel, um sowohl die Kosten als auch die Qualität von allem zu steuern, was du mit KI baust.
Warum Tokens, nicht Wörter
Modelle verarbeiten Text als Tokens, weil es ihnen erlaubt, jede Sprache, Code und seltsame Schreibweisen konsistent zu behandeln. Ein kurzes, häufiges Wort kann ein Token sein; ein langes oder ungewöhnliches Wort kann mehrere sein. Code und nicht-englischer Text kosten meist mehr Tokens als dieselbe Idee in schlichtem Englisch, was direkt deine Rechnung beeinflusst.
Tokens und deine Rechnung
KI-Preise werden pro Million Tokens angegeben und in Input (was du sendest) und Output (was das Modell zurückschreibt) aufgeteilt, wobei Output meist ein Vielfaches teurer ist. In einem Workflow, der tausende Male läuft, kann das Kürzen eines aufgeblähten Prompts deine Kosten drastisch senken. Weniger, aber relevanteren Text zu senden, ist fast immer der richtige Zug.
Ein anderes "Token" in der Security
Achtung vor einer Namensgleichheit. In KI ist ein Token ein Textstück. In Login und Security bedeutet ein "Token" etwas völlig anderes: einen geheimen String, der beweist, wer du bist, wie ein Access Token. Sie teilen ein Wort, sind aber unverwandte Konzepte, also lies den Kontext, um zu wissen, welches gemeint ist.
Tokens und das Kontextfenster
Tokens erklären auch eine Grenze, an die du stösst, das Kontextfenster: die maximale Anzahl Tokens, die ein Modell auf einmal berücksichtigen kann, inklusive deiner Anweisungen, eingefügter Dateien, des bisherigen Gesprächs und der Antwort, die es schreibt. Wenn das voll wird, vergisst das Modell praktisch die ältesten Teile. Darum verlieren lange, ausufernde Chats den Faden zu Dingen, die du früher gesagt hast, und darum gibt ein frisches Gespräch oft bessere Antworten als auf ein altes draufzupacken. Die praktische Erkenntnis ist dieselbe wie bei den Kosten: Sende weniger, aber relevanteren Text. Tokens sind die eine Einheit, die zusammenbindet, was ein Modell halten kann, wie gut es antwortet und was du zahlst, also macht dich ein grobes Gefühl dafür in allem besser, was du mit KI baust.