Contenus additionnels
Transformers
Manuel Gentile et Fabrizio Falchi
Les transformers sont des modèles de réseaux de neurones conçus pour surmonter les limites des réseaux neuronaux récurrents dans l’analyse des séquences de données (dans notre cas, des mots ou des tokens)1.
Plus spécifiquement, les transformers, par le biais d’un mécanisme de self-attention, permettent de paralléliser l’analyse des séquences de données et d’extraire les dépendances entre les éléments de ces séquences ainsi que les contextes en vertu desquels elles se produisent.
1 Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I., Attention is all you need, Advances in neural information processing systems, 30, 2017.
