एआई शब्दावली

📖

शब्द

Learned Positional Embeddings

Approche où les vecteurs de position sont des paramètres appris durant l'entraînement, contrairement aux fonctions sinusoidales fixes.

📖

शब्द

Positional Index

Valeur numérique entière représentant la position d'un token dans une séquence, utilisée comme base pour le calcul du Positional Encoding.

📖

शब्द

NoPE (No Positional Encoding)

Approche expérimentale explorant les performances des Transformers sans aucune forme d'encodage positionnel explicite.

📖

शब्द

2D Positional Encoding

Extension du Positional Encoding pour les données structurées en deux dimensions, comme les images, en encodant les coordonnées (x, y).

📖

शब्द

Causal Positional Encoding

Positional Encoding utilisé dans les modèles décodeurs auto-régressifs où l'attention est masquée pour n'être que causale (vers la gauche).

📖

शब्द

Positional Dropout

Technique de régularisation appliquant une couche de dropout spécifiquement sur les embeddings de position pour éviter la sur-dépendance à ceux-ci.