Glossário IA
O dicionário completo da Inteligência Artificial
SGD Distribuído
Variante da descida de gradiente estocástica onde os cálculos de gradientes e as atualizações de parâmetros são distribuídos por várias máquinas ou processadores para acelerar o treinamento de modelos em larga escala.
SGD Síncrono
Abordagem onde todos os workers devem sincronizar seus gradientes a cada iteração, garantindo a consistência do modelo, mas podendo ser limitada pelo nó mais lento (straggler).
SGD Assíncrono
Método onde os workers atualizam os parâmetros do modelo independentemente, sem esperar por sincronização, melhorando o throughput, mas podendo introduzir gradientes atrasados.
Hogwild!
Algoritmo de SGD paralelo sem bloqueio que permite acessos concorrentes aos parâmetros, eficaz para modelos esparsos onde os conflitos de escrita são raros.
SGD Local
Variante onde os workers realizam vários passos de SGD locais em seus dados antes de comunicar para sincronização, reduzindo a sobrecarga de comunicação.
Problema do Straggler
Fenômeno onde alguns nós mais lentos atrasam todo o processo de treinamento distribuído sincronizado, particularmente crítico em sistemas de larga escala.
SGD com Média Elástica
Algoritmo que combina descida de gradiente local com uma força elástica que mantém os parâmetros locais próximos a um centro de massa compartilhado entre os workers.
SGD Resistente a Bizantinos
Variantes robustas de SGD distribuído capazes de tolerar workers falhos ou maliciosos que enviam gradientes incorretos ou arbitrários.
SGD Quantizado
Abordagem que reduz a precisão numérica dos gradientes antes da transmissão, utilizando tipicamente 1-8 bits por parâmetro para minimizar o tráfego de rede.