Glossário IA
O dicionário completo da Inteligência Artificial
Decaimento em Degraus
Método de agendamento que reduz a taxa de aprendizado por um fator multiplicativo em intervalos de épocas predefinidos. Esta abordagem simples, mas eficaz, permite reduções abruptas na taxa de aprendizado para refinar progressivamente o modelo.
Decaimento Exponencial
Estratégia onde a taxa de aprendizado decresce exponencialmente com o tempo ou o número de iterações de acordo com uma fórmula matemática predefinida. Este método garante uma redução contínua e progressiva da taxa de aprendizado ao longo do treinamento.
Warmup
Fase inicial de treinamento onde a taxa de aprendizado aumenta progressivamente de um valor baixo até seu valor alvo. Esta técnica estabiliza os primeiros passos de aprendizado e previne a divergência do modelo em arquiteturas profundas.
Taxa de Aprendizado Cíclica
Estratégia oscilatória onde a taxa de aprendizado varia ciclicamente entre limites inferior e superior definidos. Este método permite explorar diferentes regiões do espaço de parâmetros e pode acelerar a convergência.
Política de Um Ciclo
Política de agendamento que aumenta a taxa de aprendizado até um máximo e depois a diminui até um valor final, frequentemente combinada com uma variação de momentum inversamente proporcional. Esta abordagem demonstrou desempenho superior para o treinamento rápido de redes neurais.
ReduceLROnPlateau
Mecanismo adaptativo que reduz a taxa de aprendizado quando uma métrica de desempenho para de melhorar por um número determinado de épocas. Esta estratégia ajusta dinamicamente a taxa de aprendizado com base no desempenho real do modelo.
Localizador de Taxa de Aprendizado
Técnica empírica para determinar um intervalo ótimo de taxas de aprendizado observando a perda do modelo em um aumento exponencial da taxa de aprendizado. Este método identifica o valor máximo viável antes da divergência do modelo.
SGDR
Descida de Gradiente Estocástica com Reinícios, uma variante do SGD que integra reinícios periódicos da taxa de aprendizado de acordo com uma política de annealing de cosseno. Esta técnica permite escapar de pontos de sela e melhorar a generalização.
Reinícios Quentes da Taxa de Aprendizagem
Política de agendamento que combina reinícios periódicos da taxa de aprendizagem com fases de aquecimento progressivas em cada ciclo. Esta abordagem híbrida otimiza a exploração e a exploração no espaço dos parâmetros.
Decaimento Polinomial
Estratégia de redução da taxa de aprendizagem de acordo com uma função polinomial do tempo ou do número de etapas de treinamento. Este método oferece um controle preciso sobre a velocidade de decaimento graças ao parâmetro de potência.
Decaimento Inverso do Tempo
Método de agendamento onde a taxa de aprendizagem decresce inversamente proporcionalmente ao tempo ou ao número de iterações, seguindo uma função do tipo alfa/(1 + decay_rate * step). Esta abordagem garante reduções menos agressivas do que o decaimento exponencial.
Teste de Faixa da Taxa de Aprendizagem
Procedimento diagnóstico que treina o modelo em uma única época enquanto varia a taxa de aprendizagem em uma ampla faixa logarítmica. O resultado ajuda a identificar os limites ótimos para as estratégias de taxa de aprendizagem cíclica.
Momento da Taxa de Aprendizagem
Coordenação entre o agendamento da taxa de aprendizagem e o ajuste do parâmetro de momento para otimizar a convergência. Esta abordagem sincronizada pode melhorar significativamente a estabilidade e a velocidade de treinamento.