Transformer
Architecture de réseau de neurones fondée sur le mécanisme d'attention, à la base des grands modèles de langage actuels.
ExempleIntroduit par Google en 2017 dans 'Attention is All You Need', le transformer est l'architecture sous-jacente à GPT, BERT, Claude et la quasi-totalité des LLM actuels.
3 articles utilisant ce terme
Jamba : la première architecture hybride Mamba-Transformer de qualité production
Un modèle hybride n'élimine pas l'attention, il l'alterne avec des blocs Mamba. AI21 Labs a été le premier à en faire un choix d'ingénierie arbitré, pas une hypothèse de recherche.
Pourquoi l'attention d'un Transformer coûte cher sur un contexte long
Le mécanisme qui a rendu les Transformers redoutables sur le texte a un coût qui grossit plus vite que le contexte lui-même — précisément le problème que Mamba a été conçu pour contourner.
Qu'est-ce que Mamba ?
Une architecture à état sélectif, déjà en production, pensée pour réduire le coût du contexte long face aux Transformers.