Glosario IA
El diccionario completo de la Inteligencia Artificial
Paralelismo de Datos
Técnica en la que los datos se distribuyen entre varios procesadores para realizar las mismas operaciones en paralelo.
Paralelismo de Modelo
Enfoque donde diferentes segmentos de un modelo neuronal se colocan en diferentes dispositivos de cálculo.
Paralelismo Pipeline
Método que combina paralelismo de datos y de modelo dividiendo el modelo en etapas procesadas simultáneamente.
Computación GPU y CUDA
Uso de procesadores gráficos y de la arquitectura CUDA para acelerar los cálculos de aprendizaje automático.
Cálculo Distribuido con MPI
Interfaz de paso de mensajes que permite la comunicación entre procesos para el cálculo distribuido a gran escala.
Frameworks Distribuidos
Plataformas como TensorFlow Distributed, PyTorch Distributed y Horovod para el entrenamiento distribuido.
Optimización de la Comunicación
Técnicas para minimizar el ancho de banda y la latencia durante los intercambios entre nodos de cálculo.
Estrategias de Sincronización
Métodos síncronos, asíncronos y semi-asíncronos para coordinar las actualizaciones de gradientes distribuidos.
Aprendizaje Federado
Aprendizaje distribuido donde los modelos se entrenan localmente en datos descentralizados sin compartirlos.
Equilibrio de Carga
Algoritmos para distribuir uniformemente la carga de trabajo entre los recursos de cómputo disponibles.
Orquestación de Contenedores ML
Gestión de contenedores con Kubernetes y Docker Swarm para el despliegue de cargas de trabajo de ML distribuidas.
Edge Computing para ML
Cálculo distribuido cerca de las fuentes de datos para reducir la latencia y preservar la privacidad.