Additional Content

Transformatorji

Manuel Gentile and Fabrizio Falchi

Transformatorji so model nevronske mreže, zasnovan za premagovanje omejitev ponavljajočih se nevronskih mrež pri analizi zaporedij podatkov (v našem primeru besed ali žetonov)1.

Natančneje, transformatorji preko mehanizma samopozornosti omogočajo vzporedno analizo podatkovnih zaporedij in izločanje odvisnosti med elementi teh zaporedij in konteksti, v katerih se pojavljajo.


Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I., Attention is all you need, Advances in neural information processing systems, 30, 2017.

Licence

Icon for the Creative Commons Attribution 4.0 International License

UI za učitelje: interaktivni spletni priročnik Copyright © 2024 by Manuel Gentile and Fabrizio Falchi is licensed under a Creative Commons Attribution 4.0 International License, except where otherwise noted.

Share This Book