Glossário IA
O dicionário completo da Inteligência Artificial
Limite inferior da informação mútua
Estimativa matemática que garante que o valor calculado nunca excede a verdadeira informação mútua entre duas variáveis aleatórias. No contexto da aprendizagem contrastiva, esta limite permite otimizar indiretamente a informação mútua sem a calcular diretamente.
Amostras negativas
Exemplos usados na aprendizagem contrastiva que são considerados diferentes da âncora e devem ser afastados no espaço de representação. A escolha estratégica das amostras negativas é crucial para o desempenho dos modelos contrastivos.
Amostras positivas
Pares de exemplos considerados semanticamente semelhantes na aprendizagem contrastiva, geralmente gerados por aumentações da mesma imagem ou elementos temporalmente próximos. O modelo aprende a maximizar a sua similaridade no espaço latente.
Discriminação de instâncias
Tarefa pretexto onde cada instância num lote é tratada como a sua própria classe distinta na aprendizagem contrastiva. Esta abordagem força o modelo a aprender representações únicas para cada amostra individual.
Maximização da informação mútua
Objetivo de aprendizagem que visa maximizar a informação partilhada entre diferentes vistas aumentadas dos mesmos dados. InfoNCE fornece uma estimativa eficaz e escalável deste objetivo em contextos de alta dimensão.
Perda NT-Xent
Normalized Temperature-scaled Cross-Entropy Loss (Perda de Entropia Cruzada Normalizada com Escala de Temperatura), uma implementação específica da perda InfoNCE usada no SimCLR. Esta perda normaliza os vetores antes de aplicar a temperatura no softmax.
Banco de memória
Estrutura de dados que armazena representações de amostras anteriores para servir como um reservatório de amostras negativas na aprendizagem contrastiva. Esta abordagem permite usar um grande número de negativos sem sobrecarga computacional.