Glosario IA
El diccionario completo de la Inteligencia Artificial
ALBERT
Versión ligera de BERT que reduce significativamente los parámetros mediante el intercambio de embeddings y la factorización matricial de capas. Mantiene un rendimiento competitivo siendo más eficiente en términos de memoria.
ELECTRA
Arquitectura de preentrenamiento eficiente que reemplaza el masked language modeling por el reemplazo de tokens corruptos. Utiliza un discriminador que identifica los tokens reemplazados, permitiendo un entrenamiento más rápido y con mejor rendimiento.
ERNIE
Modelo chino que integra conocimientos estructurados y jerárquicos en la arquitectura base Transformer. Enmascara simultáneamente palabras, entidades y frases para capturar semánticas multinivel.
BART
Arquitectura Transformer bidireccional y autorregresiva que combina las ventajas de BERT y GPT. Utiliza un codificador-decodificador con corrupción de texto para el preentrenamiento, excelente para tareas de generación.
Funnel Transformers
Arquitectura jerárquica que reduce progresivamente la longitud de las secuencias a través de las capas preservando la información importante. Ahorra significativamente la memoria computacional para secuencias largas.
DeBERTa
Mejora de BERT que integra la decodificación mejorada con atención al contenido y posición descompuestos. Utiliza un mecanismo de atención disentangled y un enmascaramiento de tamaño mejorado para mejor rendimiento.
TinyBERT
Versión ultracompacta de BERT que reduce los parámetros hasta 7.5 veces manteniendo un alto rendimiento. Aplica la destilación bidireccional y una atención multinivel para la compresión.
CamemBERT
Versión francesa de BERT preentrenada en 138GB de texto francés. Mantiene la arquitectura BERT original pero está especializada para la comprensión y procesamiento del francés.
FlauBERT
Modelo de lenguaje francés basado en Transformer con un preentrenamiento progresivo utilizando corpus cada vez más grandes. Integra especificidades lingüísticas del francés para un rendimiento óptimo.
XLM-RoBERTa
Versión multilingüe de RoBERTa preentrenada en 100 idiomas utilizando el massive dataset de Common Crawl. Supera a XLM y mBERT gracias a un preentrenamiento mejorado y una mejor gestión de los idiomas con pocos recursos.
Sentence-BERT
Modificación de BERT optimizada para la codificación de frases completas en vectores semánticos. Utiliza redes siamesas y triples para producir embeddings relevantes para la similitud semántica.
VideoBERT
Extensión multimodal de BERT que aprende representaciones conjuntas de video y texto. Realiza el preentrenamiento en tokens visuales y lingüísticos para la comprensión de video.
Controlled BERT
Variante de BERT que permite controlar los atributos de estilo durante la generación de texto. Integra controladores en la arquitectura para modular las características lingüísticas deseadas.