Glossário IA
O dicionário completo da Inteligência Artificial
SimSiam
Arquitetura de aprendizado auto-supervisionado sem amostras negativas que previne o colapso das representações graças a uma operação stop-gradient.
Colapso das representações
Fenômeno onde o codificador produz representações idênticas para todas as entradas, eliminando assim qualquer informação discriminativa.
Cabeça de predição
Rede neural MLP que transforma as projeções do codificador em predições usadas para o cálculo da perda no SimSiam.
Stop-Gradient
Operação que bloqueia a propagação do gradiente em um ramo da rede, essencial para prevenir o colapso no SimSiam.
Projetor
Camada MLP que projeta as representações do codificador em um espaço onde a similaridade é calculada para a perda.
Perda de similaridade de cosseno
Função de perda baseada na similaridade de cosseno entre as predições e as projeções com stop-gradient no SimSiam.
Emparelhamento positivo
Processo de alinhamento das representações de diferentes visões aumentadas da mesma imagem no espaço latente.
Colapso trivial
Solução degenerada onde todas as representações são idênticas, maximizando a similaridade mas eliminando qualquer informação útil.
Dimensionalidade latente
Espaço de representação de alta dimensão onde as características aprendidas são codificadas pelo codificador.
Arquitetura siamesa
Estrutura de rede com dois ramos que partilham os mesmos pesos, utilizada para processar diferentes vistas aumentadas simultaneamente.
Taxa de aprendizagem por etapas
Estratégia de otimização onde a taxa de aprendizagem é reduzida por etapas sucessivas durante o treinamento.
Normalização por lotes
Técnica de normalização que estabiliza o treinamento ao normalizar as ativações em cada mini-lote.
Simetrização da perda
Cálculo da perda em ambas as direções (vista1 para vista2 e vista2 para vista1) para melhorar a estabilidade do treinamento.