Contenus additionnels

Transformers

Manuel Gentile et Fabrizio Falchi

Les transformers sont des modèles de réseaux de neurones conçus pour surmonter les limites des réseaux neuronaux récurrents dans l’analyse des séquences de données (dans notre cas, des mots ou des tokens)1.

Plus spécifiquement, les transformers, par le biais d’un mécanisme de self-attention, permettent de paralléliser l’analyse des séquences de données et d’extraire les dépendances entre les éléments de ces séquences ainsi que les contextes en vertu desquels elles se produisent.


Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I., Attention is all you need, Advances in neural information processing systems, 30, 2017.

Licence

Symbole de Licence Creative Commons Attribution 4.0 International

IA pour les enseignants : un manuel ouvert Droit d'auteur © 2024 par Manuel Gentile et Fabrizio Falchi est sous licence Licence Creative Commons Attribution 4.0 International, sauf indication contraire.

Partagez ce livre