Token· Jeton

Unité élémentaire de texte (mot, sous-mot ou caractère) traitée par un modèle de langage.

ExempleLe texte 'inassurabilité' est découpé en 5 tokens par GPT-4 : 'in', 'assur', 'abil', 'it', 'é' ; l'unité de facturation des API et la limite sur laquelle s'applique la fenêtre de contexte.