Glosario IA
El diccionario completo de la Inteligencia Artificial
Cuantificación del gradiente
Método de compresión que reduce la precisión numérica de los gradientes (ej: de 32 bits a 8 bits) antes de la transmisión para minimizar el volumen de datos intercambiados. A menudo requiere técnicas de compensación para mantener la estabilidad del entrenamiento.
Esparsificación
Proceso que elimina los valores de gradiente considerados no significativos (cercanos a cero) antes de la transmisión, reduciendo drásticamente el volumen de comunicación. A menudo se combina con técnicas de acumulación local para preservar la información importante.
Esparsificación Top-k
Variante de esparsificación que conserva solo los k valores de gradiente más importantes en magnitud, garantizando una relación de compresión fija. Requiere mecanismos de sincronización adicionales para mantener la coherencia entre nodos.
Solapamiento de Comunicación y Computación
Estrategia de optimización que oculta la latencia de la red ejecutando simultáneamente los cálculos locales y las transferencias de datos entre nodos. Esencial para mantener las GPUs activas durante las fases de comunicación de red.
Backend de Comunicación
Capa de abstracción que gestiona las comunicaciones de red en los frameworks distribuidos, permitiendo cambiar entre diferentes implementaciones (MPI, NCCL, Gloo). Impacta directamente en el rendimiento del sistema distribuido.
Optimización del Ancho de Banda
Conjunto de técnicas destinadas a maximizar el uso del ancho de banda de red disponible (compresión, agregación, ordenamiento). Crucial para sistemas de alta escalabilidad donde la comunicación se convierte en el factor limitante.
Ocultamiento de Latencia
Estrategias destinadas a ocultar los tiempos de espera de la red mediante cálculos útiles o transferencias anticipadas de datos. Fundamental para mantener la eficiencia de los sistemas distribuidos frente a las latencias incompresibles de la red.