Glossário IA
O dicionário completo da Inteligência Artificial
Acumulação Histórica
Processo de armazenar e acumular informações de gradientes passados para adaptar dinamicamente as taxas de aprendizado. No AdaDelta, essa acumulação é limitada a uma janela deslizante para evitar a diminuição infinita da taxa de aprendizado.
Fator de Decaimento
Parâmetro (tipicamente entre 0.9 e 0.999) que controla a velocidade com que a influência dos gradientes passados diminui exponencialmente. Este fator determina o tamanho efetivo da janela deslizante em algoritmos adaptativos como o AdaDelta.
Normalização do Gradiente
Processo de escalonamento dos gradientes usando estatísticas históricas para estabilizar o treinamento. O AdaDelta normaliza os gradientes dividindo-os pela raiz quadrada da média móvel de seus quadrados.
Unidades Consistentes
Princípio fundamental do AdaDelta onde as atualizações têm as mesmas unidades que os parâmetros, eliminando a necessidade de uma taxa de aprendizado global. Esta abordagem utiliza a razão entre as médias móveis das atualizações passadas e dos gradientes atuais.
Escalonamento de Parâmetros
Processo de ajuste dinâmico da magnitude das atualizações para cada parâmetro com base em seu histórico de gradientes. O AdaDelta utiliza a média móvel das atualizações passadas para determinar essa escala adaptativa.
Condições de Convergência
Critérios matemáticos que garantem que um algoritmo de otimização atingirá um ótimo local ou global. Algoritmos adaptativos como o AdaDelta modificam essas condições alterando dinamicamente a direção e a magnitude dos passos de otimização.
Estado de Otimização
Informações adicionais armazenadas por algoritmos adaptativos para calcular futuras atualizações. O AdaDelta mantém dois estados: a média móvel dos quadrados dos gradientes e a dos quadrados das atualizações.
Hiperparâmetro Rho
Parâmetro único do AdaDelta (geralmente fixado em 0.95) que controla a velocidade de decaimento exponencial da janela deslizante. Este parâmetro determina o equilíbrio entre informações recentes e históricas nos cálculos de atualização.