AI 용어집
인공지능 완전 사전
162
카테고리
2,032
하위 카테고리
23,060
용어
용어
Rotary Position Embedding
Technique d'encodage positionnel appliquant une rotation complexe aux embeddings en fonction de leur position relative. Conserve les propriétés d'invariance absolue tout en encodant efficacement les relations positionnelles.
용어
Alibi Position Encoding
Méthode d'encodage positionnel ajoutant des biais linéaires aux scores d'attention en fonction de la distance entre tokens. Permet une meilleure extrapolation à des séquences plus longues sans réentraînement.
용어
Attention Projection Matrices
Matrices de poids apprenables Wq, Wk, Wv et Wo transformant les embeddings en queries, keys, values et fusionnant les sorties multi-head. Ces projections linéaires sont les paramètres principaux du mécanisme d'attention.
🔍