Glossário IA
O dicionário completo da Inteligência Artificial
Leis de Escalonamento
Princípios matemáticos que descrevem como o desempenho dos modelos de deep learning melhora de forma previsível com o aumento do tamanho do modelo, dos dados e do poder computacional.
Escalonamento por Lei de Potência
Relação matemática onde o desempenho do modelo segue uma lei de potência em função de fatores como tamanho do modelo, número de parâmetros ou quantidade de dados.
Leis de Escalonamento Chinchilla
Leis de escalonamento específicas descobertas pela DeepMind sugerindo que os modelos atuais são sub-treinados e que os dados são mais importantes do que o previsto para a otimização do desempenho.
Escalonamento Computacionalmente Ótimo
Estratégia de alocação ótima de recursos computacionais entre o tamanho do modelo e a quantidade de dados de treinamento para maximizar o desempenho com orçamento fixo.
Leis de Escalonamento de Dados
Princípios que descrevem como o aumento da quantidade de dados de treinamento influencia o desempenho do modelo, frequentemente seguindo uma relação de potência com saturação.
Escalonamento do Tamanho do Modelo
Estudo da evolução das capacidades do modelo em função do número de parâmetros, revelando melhorias previsíveis até certos pontos de saturação.
Escalonamento de Tokens
Análise do impacto do número de tokens de treinamento no desempenho do modelo, essencial para determinar a quantidade ótima de dados textuais.
Habilidades Emergentes
Capacidades que aparecem subitamente em modelos grandes em certas escalas críticas, sem estarem presentes em modelos menores da mesma família.
Transições de Fase
Mudanças abruptas no comportamento ou desempenho do modelo que ocorrem em limiares específicos de tamanho ou dados.
Leis de Escala Neural
Quadro teórico geral unificando observações empíricas sobre o dimensionamento de redes neurais através de diferentes arquiteturas e tarefas.
Leis de Escala de Kaplan
Primeiras leis de escala empíricas estabelecidas pela OpenHub, mostrando relações de potência entre o tamanho do modelo, dados e desempenho.
Curvas IsoFLOP
Curvas de desempenho com orçamento FLOP constante permitindo comparar diferentes arquiteturas ou estratégias de treinamento com custo computacional igual.
Tamanho Crítico do Lote
Tamanho de lote ideal além do qual aumentos adicionais não produzem mais melhorias significativas na velocidade de treinamento.
Descida Dupla
Fenômeno onde o erro de teste diminui, aumenta e depois diminui novamente à medida que o tamanho do modelo ultrapassa o ponto de interpolação dos dados.
Grokking
Fenômeno onde os modelos adquirem subitamente compreensão generalizável após um longo período de aparente sobreajuste.
Minimização Consciente da Nitidez
Técnica de otimização que busca mínimos planos na paisagem de perda, particularmente importante para a estabilidade de grandes modelos.
Escalonamento de Perda
Previsão da evolução da função de perda em função dos recursos alocados, permitindo estimar o desempenho antes do treinamento.
Platôs de Desempenho
Fases de estagnação na melhoria do desempenho apesar do aumento dos recursos, indicando limites nas leis de escalonamento atuais.
Expoente de Escalonamento
Parâmetro crucial nas leis de potência que determina a velocidade de melhoria do desempenho em relação ao aumento dos recursos.
Coeficiente de Escalonamento
Constante multiplicativa nas equações de escalonamento que determina o nível de desempenho base antes da aplicação dos efeitos de escala.