Mécanisme d'attention

Composant permettant à un modèle de pondérer l'importance relative des différentes parties d'une séquence d'entrée.

ExempleDans la traduction 'Le chat dort', l'attention permet au modèle de pondérer fortement 'chat' lors de la génération de 'cat', et 'dort' lors de 'sleeps' : chaque token influence tous les autres.

1 article utilisant ce terme

27 juillet 2026

Pourquoi l'attention d'un Transformer coûte cher sur un contexte long

Le mécanisme qui a rendu les Transformers redoutables sur le texte a un coût qui grossit plus vite que le contexte lui-même — précisément le problème que Mamba a été conçu pour contourner.