एआई शब्दावली

📖

शब्द

ALiBi (Attention with Linear Biases)

Alternative au positional encoding utilisant des biais linéaires directement dans les scores d'attention pour représenter les distances entre tokens.

📖

शब्द

Disentangled Attention

Mécanisme d'attention séparant explicitement les contributions de contenu et de position dans le calcul des scores d'attention.

📖

शब्द

Multi-scale Positional Encoding

Approche combinant plusieurs échelles de représentation positionnelle pour capturer à la fois les structures locales et globales des séquences.

📖

शब्द

Position Dropout

Technique de régularisation appliquée spécifiquement aux embeddings de position pour éviter la surdépendance du modèle aux informations positionnelles.