Glosario IA
El diccionario completo de la Inteligencia Artificial
Cuantización de Bits Variables
Técnica de optimización de redes neuronales que asigna dinámicamente diferentes números de bits a cada peso o activación según su importancia, reduciendo así el tamaño del modelo preservando el rendimiento.
Asignación Dinámica de Bits
Algoritmo que determina automáticamente el número óptimo de bits a asignar a cada parámetro del modelo analizando su sensibilidad e impacto en el rendimiento global de la red.
Cuantización de Precisión Mixta
Enfoque híbrido que combina diferentes precisiones numéricas en un mismo modelo, utilizando típicamente 8 bits para las capas críticas y 4 bits o menos para las capas menos sensibles.
Cuantización Sensible a las Capas
Método de cuantización que analiza la sensibilidad de cada capa neuronal a la reducción de precisión para optimizar la asignación de bits y minimizar la degradación del rendimiento.
Cuantización Basada en Entropía
Técnica que utiliza los principios de la teoría de la información para determinar el número óptimo de bits basándose en la distribución de los pesos y su entropía informacional.
Cuantización No Uniforme
Estrategia de cuantización que utiliza pasos de cuantización variables adaptados a la distribución de los parámetros, permitiendo una representación más eficiente de los valores extremos y frecuentes.
Cuantización por Importancia de Pesos
Método que evalúa la importancia de cada peso en la red mediante métricas como la magnitud o el gradiente, asignando más bits a los pesos críticos y menos a los demás.
Cuantización Diferenciable
Técnica que permite el entrenamiento de extremo a extremo de modelos cuantizados utilizando aproximaciones diferenciables de las funciones de redondeo clásicas no diferenciables.
Cuantización con Aprendizaje
Método donde los parámetros de cuantización (niveles de bits, puntos de cuantización) se aprenden conjuntamente con los pesos del modelo durante el entrenamiento para una optimización global.
Cuantización por Agrupamiento
Técnica que agrupa pesos similares y aplica una cuantización adaptativa a cada grupo, permitiendo una representación más eficiente de las estructuras de pesos repetitivas.
Cuantización de Resolución Múltiple
Enfoque que aplica diferentes resoluciones de cuantización a diferentes partes de un tensor, optimizando la representación de las características locales y globales de los datos.
Cuantización Basada en la Distribución
Método adaptativo que ajusta dinámicamente la estrategia de cuantización en función de la distribución estadística de las activaciones y pesos en cada etapa del cálculo.
Cuantización con Restricción de Presupuesto
Optimización con restricciones que maximiza la precisión del modelo respetando un presupuesto fijo de bits total, distribuyendo inteligentemente los recursos entre todos los parámetros.
Cuantización Progresiva
Estrategia incremental que comienza con una cuantización agresiva y aumenta progresivamente la precisión de las capas críticas hasta alcanzar un compromiso óptimo entre tamaño y rendimiento.
Cuantización por Importancia de Activaciones
Técnica especializada que analiza y cuantifica de manera diferente las activaciones en función de su varianza y contribución a la propagación del gradiente en la red.