Glossário IA
O dicionário completo da Inteligência Artificial
Teste A/B
Metodologia experimental comparando duas versões (A e B) de um modelo ou serviço para determinar qual desempenha melhor segundo métricas predefinidas, geralmente através de uma distribuição aleatória do tráfego.
Teste Multivariado
Técnica avançada testando simultaneamente múltiplas variáveis e suas combinações para identificar a otimização global, permitindo avaliar a interação entre diferentes fatores do modelo.
Implantação Blue-Green
Padrão de implantação com dois ambientes idênticos onde o tráfego muda completamente da versão antiga (Blue) para a nova (Green) após validação completa, minimizando o tempo de inatividade.
Flag de Funcionalidade
Mecanismo de controle permitindo ativar/desativar dinamicamente funcionalidades ou modelos específicos sem reimplantação, facilitando experimentos e rollbacks rápidos.
Divisão de Tráfego
Técnica de roteamento inteligente distribuindo proporcionalmente as requisições entre diferentes versões de modelos segundo regras configuráveis para testes A/B ou implantações graduais.
Significância Estatística
Medida probabilística determinando se as diferenças observadas entre as variantes testadas são devidas a efeitos reais em vez do acaso, geralmente com um limiar de p-value < 0.05.
Valor-p
Probabilidade de observar resultados pelo menos tão extremos quanto os medidos se a hipótese nula fosse verdadeira, servindo como critério de decisão nos testes de hipóteses.
Intervalo de Confiança
Faixa de valores estimados contendo com uma probabilidade definida (tipicamente 95%) o verdadeiro valor do parâmetro medido, quantificando a incerteza das estimativas experimentais.
Grupo de Controle
Amostra de população que recebe a versão de referência (geralmente o modelo atual) servindo como baseline para comparação estatística com as variantes experimentais.
Grupo de Tratamento
Segmento de população exposto à variante experimental do modelo ou tratamento testado, permitindo medir o impacto relativo em relação ao grupo de controle.
Modelo de Linha de Base
Modelo de referência utilizado como ponto de comparação para avaliar as melhorias trazidas por novas versões, geralmente o modelo atualmente em produção.
Campeão-Desafiante
Estratégia de competição contínua onde o modelo campeão atual é constantemente desafiado por modelos desafiantes, com o melhor desempenho substituindo gradualmente o campeão.
Implementação Progressiva
Implementação incremental de um novo modelo com aumento gradual do percentual de tráfego, permitindo validação contínua e minimização dos riscos de impacto negativo.
Plataforma de Experimentação
Infraestrutura centralizada que gerencia o ciclo de vida completo das experimentações, da criação das variantes à análise estatística dos resultados e automação das decisões.
Deriva de Métricas
Fenômeno de degradação progressiva das métricas de desempenho de um modelo em produção, detectado através do monitoramento contínuo e exigindo reavaliações periódicas.
Cálculo do Tamanho da Amostra
Processo estatístico que determina o número mínimo de observações necessárias para detectar uma diferença significativa com um poder estatístico dado, essencial para o planejamento dos testes.
Teste A/B Bayesiano
Abordagem alternativa que utiliza probabilidades bayesianas para avaliar as variantes, permitindo decisões contínuas com amostras menores e uma interpretação intuitiva dos resultados.
Teste Sequencial
Metodologia de análise que permite a avaliação dos resultados em intervalos predefinidos sem inflar o risco de erro tipo I, otimizando a duração e os custos dos experimentos.