Glosario IA
El diccionario completo de la Inteligencia Artificial
SGD Distribuido
Variante del descenso de gradiente estocástico donde los cálculos de gradientes y las actualizaciones de parámetros se distribuyen en múltiples máquinas o procesadores para acelerar el entrenamiento de modelos a gran escala.
SGD Sincrónico
Enfoque donde todos los workers deben sincronizar sus gradientes en cada iteración, garantizando la coherencia del modelo pero pudiendo ser limitado por el nodo más lento (straggler).
SGD Asincrónico
Método donde los workers actualizan los parámetros del modelo de forma independiente sin esperar la sincronización, mejorando el rendimiento pero pudiendo introducir gradientes retrasados.
Hogwild!
Algoritmo de SGD paralelo sin bloqueo que permite accesos concurrentes a los parámetros, eficaz para modelos dispersos donde los conflictos de escritura son raros.
SGD Local
Variante donde los workers realizan varios pasos de SGD locales en sus datos antes de comunicarse para la sincronización, reduciendo la sobrecarga de comunicación.
Problema del Straggler
Fenómeno donde algunos nodos más lentos ralentizan todo el proceso de entrenamiento distribuido sincronizado, particularmente crítico en sistemas a gran escala.
SGD de Promediado Elástico
Algoritmo que combina el descenso de gradiente local con una fuerza elástica que mantiene los parámetros locales cerca de un centro de masa compartido entre workers.
SGD Resistente a Bizantinos
Variantes robustas de SGD distribuido capaces de tolerar workers defectuosos o maliciosos que envían gradientes incorrectos o arbitrarios.
SGD Cuantificado
Enfoque que reduce la precisión numérica de los gradientes antes de la transmisión, utilizando típicamente 1-8 bits por parámetro para minimizar el tráfico de red.