Coût d'inférence

Coût de calcul associé à l'utilisation d'un modèle déjà entraîné pour produire une réponse.

ExempleGénérer une réponse de 500 tokens avec GPT-4o coûte ~0,01 $ : un chatbot traitant 100 000 requêtes/jour représente 1 000 $/jour ; poste à optimiser via la quantification ou des modèles plus légers.

1 article utilisant ce terme

27 juillet 2026

Le vrai coût énergétique d'une requête LLM : un facteur d'environ 13 sépare un LLM standard d'un LLM de raisonnement

Une requête coûte 0,31 Wh en médiane sur un LLM standard, contre 3,91 Wh sur un LLM de raisonnement, d'après la mesure la plus récente et la mieux revue par les pairs : l'écart le plus significatif ne sépare pas l'IA du reste, il sépare deux façons d'utiliser l'IA.