Mécanisme d'attention

Composant permettant à un modèle de pondérer l'importance relative des différentes parties d'une séquence d'entrée.

ExempleDans la traduction 'Le chat dort', l'attention permet au modèle de pondérer fortement 'chat' lors de la génération de 'cat', et 'dort' lors de 'sleeps' : chaque token influence tous les autres.

En clairC'est la trouvaille qui a rendu possibles les modèles actuels. Plutôt que de lire une phrase mot après mot en oubliant le début, le système pèse simultanément l'importance de chaque mot par rapport aux autres. C'est ainsi qu'il rattache un pronom au bon nom, même très loin en arrière dans le texte.

1 article utilisant ce terme

14 juillet 2026

L'attention d'un Transformer : 42 Go de cache pour un contexte de 128 000 tokens

Le mécanisme qui a rendu les Transformers redoutables sur le texte a un coût qui grossit plus vite que le contexte lui-même : précisément le problème que Mamba a été conçu pour contourner.