Glosario IA
El diccionario completo de la Inteligencia Artificial
Embeddings de Segmento de BERT
Embeddings adicionales en BERT que distinguen diferentes segmentos o frases en una secuencia, complementando los embeddings de token y posición.
Interpolación de Posición
Técnica que permite a los modelos preentrenados con codificaciones posicionales manejar secuencias más largas mediante la interpolación lineal de las posiciones existentes.
Extrapolación de Longitud
Capacidad de un modelo para generalizar a longitudes de secuencia mayores que las vistas durante el entrenamiento, fuertemente dependiente del esquema de codificación posicional utilizado.
Sesgo Posicional Aprendido
Parámetros de sesgo aprendidos directamente añadidos a las puntuaciones de atención en función de las posiciones relativas, una alternativa eficiente a los embeddings posicionales completos.
Atención Consciente de la Posición
Variante del mecanismo de atención que integra explícitamente la información posicional en los cálculos de similitud, mejorando la conciencia secuencial del modelo.