Glosario IA
El diccionario completo de la Inteligencia Artificial
Computación de Precisión Mixta
Técnica de cálculo que utiliza simultáneamente múltiples formatos numéricos de precisión variable (FP64, FP32, FP16, INT8) para optimizar el equilibrio entre rendimiento de memoria, capacidad de cálculo y precisión de resultados en aplicaciones de IA.
FP16 (Punto Flotante de Media Precisión)
Formato de representación numérica de 16 bits que incluye 1 bit de signo, 5 bits de exponente y 10 bits de mantisa, utilizado para acelerar los cálculos y reducir la huella de memoria a costa de una precisión reducida.
FP32 (Punto Flotante de Precisión Simple)
Formato de representación numérica estándar de 32 bits con 1 bit de signo, 8 bits de exponente y 23 bits de mantisa, constituyendo la referencia de precisión para el entrenamiento de la mayoría de modelos de IA.
INT8 (Entero de 8 bits)
Formato de cuantificación de 8 bits que representa números enteros con signo, utilizado principalmente para inferencia con el fin de maximizar la capacidad de cálculo y minimizar el consumo energético de aceleradores hardware.
Tensor Cores
Unidades de cálculo especializadas integradas en las GPU modernas (NVIDIA) diseñadas para ejecutar operaciones de multiplicación-acumulación matricial en precisión mixta (FP16/FP32) de manera altamente paralela.
Escalado Dinámico de Pérdidas
Variante adaptativa del escalado de pérdidas donde el factor de escala se ajusta dinámicamente durante el entrenamiento, aumentando en caso de estabilidad y reduciendo en caso de desbordamiento para optimizar la convergencia.
Pesos Maestros
Copia de los pesos del modelo mantenida en FP32 (o FP64) durante el entrenamiento en precisión mixta, sirviendo como referencia de precisión para las actualizaciones de pesos mientras los cálculos forward/backward se realizan en FP16.
Precisión Mixta Automática (AMP)
Funcionalidad de los frameworks de IA (PyTorch, TensorFlow) que selecciona automáticamente las operaciones a ejecutar en FP16 o FP32, gestiona la conversión de tipos y aplica el escalado de pérdidas de manera transparente.
Unidades de Procesamiento Vectorial (VPU)
Aceleradores de hardware especializados optimizados para cálculos en precisión entera (INT8) y baja precisión, diseñados para la inferencia eficiente de redes neuronales en dispositivos edge.
Aceleración por Esparsidad
Técnica combinada con precisión mixta que explota los ceros en los tensores para saltar cálculos innecesarios, reduciendo el ancho de banda de memoria y aumentando el rendimiento efectivo de las operaciones matriciales.
Análisis de Estabilidad Numérica
Evaluación sistemática del impacto de la reducción de precisión en la convergencia y precisión final de un modelo, identificando las capas sensibles que requieren mantenerse en FP32 en una estrategia de precisión mixta.
FP8 (Punto Flotante de 8 bits)
Formato emergente de representación en 8 bits con diferentes variantes (E4M3, E5M2) optimizadas para entrenamiento e inferencia, ofreciendo un compromiso extremo entre rendimiento y precisión para modelos muy grandes.
Acumulación de Gradientes en Precisión Mixta
Técnica donde los gradientes calculados en FP16 se acumulan en un búfer FP32 antes de la actualización de pesos, previniendo la pérdida de precisión durante la agregación en múltiples mini-lotes.
Poda Consciente de la Precisión
Método de poda de red que considera la sensibilidad de cada capa a la reducción de precisión, aplicando una poda más agresiva en las capas robustas en baja precisión para maximizar la aceleración.