Mécanisme d'attention

Définition

L'attention calcule des relations pondérées entre chaque paire de tokens dans une séquence. C'est ce qui donne aux transformers leur capacité de raisonnement à longue distance. L'attention multi-tête exécute de nombreux calculs d'attention en parallèle, chacun apprenant différents motifs relationnels. Les variantes modernes (FlashAttention, attention sparse) rendent l'attention computationnellement traitable sur de longues séquences.

Exemple

Dans "Le chat s'est assis sur le tapis parce qu'il était fatigué", l'attention aide le modèle à lier "il" à "chat" plutôt qu'à "tapis".

Comment Vedwix utilise ceci

Conceptuel ; rarement quelque chose que nous tunons directement sauf dans des modèles entraînés sur mesure.