Fenêtre de contexte· Context window
Quantité maximale de texte qu'un modèle peut prendre en compte simultanément pour produire une réponse.
ExempleClaude 3 Opus dispose d'une fenêtre de 200 000 tokens : il peut analyser un rapport annuel de 600 pages en entier et répondre à des questions en tenant compte de l'ensemble du document.
2 articles utilisant ce terme
L'attention d'un Transformer : 42 Go de cache pour un contexte de 128 000 tokens
Le mécanisme qui a rendu les Transformers redoutables sur le texte a un coût qui grossit plus vite que le contexte lui-même : précisément le problème que Mamba a été conçu pour contourner.
Le TPU de Google a deux prix, pas un
La multimodalité native et la fusion Brain/DeepMind sont connues depuis 2023 et largement documentées ailleurs. Ce qui reste sous-exploré : ce qu'une seule analyse indépendante, non auditée par un tiers, estime pour l'avantage de coût du TPU de Google, et pourquoi une autre mesure indépendante trouve l'inverse sur ce point précis.