Glosario IA
El diccionario completo de la Inteligencia Artificial
Aprendizaje Automático Distribuido
Paradigma computacional donde el entrenamiento de modelos de ML se distribuye en múltiples nodos de cálculo para procesar volúmenes masivos de datos y reducir el tiempo de entrenamiento.
Servidor de Parámetros
Arquitectura de distribución donde los parámetros del modelo se centralizan en servidores dedicados mientras los workers calculan los gradientes localmente.
Paralelismo de Datos
Técnica donde los datos se particionan entre diferentes computadoras que ejecutan el mismo modelo en diferentes subconjuntos de datos en paralelo.
Paralelismo de Modelo
Enfoque donde un solo modelo se divide entre varias máquinas, cada porción procesando una parte específica de la red neuronal o del algoritmo.
Descenso de Gradiente Distribuido
Variante del descenso de gradiente donde los cálculos de gradientes se distribuyen en múltiples nodos antes de la agregación para actualizar los pesos del modelo.
Sharding
Técnica de particionamiento horizontal de datos donde el conjunto de datos se divide en fragmentos distribuidos en diferentes nodos para un procesamiento paralelo eficiente.
Entrenamiento Sincrónico
Método de entrenamiento distribuido donde todos los workers sincronizan sus gradientes en cada paso, garantizando consistencia pero pudiendo crear cuellos de botella.
Entrenamiento Asincrónico
Enfoque donde los workers actualizan los parámetros del modelo de manera independiente sin esperar a los demás, mejorando la velocidad a costa de una posible inconsistencia.
Aprendizaje Profundo Distribuido
Conjunto de técnicas que permiten el entrenamiento de redes neuronales profundas en clústeres de máquinas para procesar conjuntos de datos y modelos masivos.
Dask
Biblioteca de computación paralela flexible para Python que extiende pandas y NumPy a conjuntos de datos más grandes que la memoria utilizando grafos de tareas distribuidas.
TensorFlow Distribuido
Estrategias integradas de TensorFlow que permiten el entrenamiento distribuido de modelos en múltiples GPU y máquinas con sincronización automática de variables.
PyTorch Distribuido
Módulo DistributedDataParallel de PyTorch que permite el entrenamiento distribuido eficiente con comunicación entre procesos optimizada a través de NCCL y Gloo.
Hadoop YARN
ResourceManager de Hadoop que orquesta la asignación de recursos y la gestión de aplicaciones en un entorno de computación distribuida para Big Data.