Glossário IA
O dicionário completo da Inteligência Artificial
Aprendizado Federado por Reforço
Paradigma de aprendizado de máquina que combina os princípios do reinforcement learning com o aprendizado federado, permitindo que múltiplos agentes aprendam coletivamente sem compartilhar seus dados brutos. Os agentes realizam aprendizados locais e depois agregam seus conhecimentos para melhorar uma política global comum.
Agente Federado
Entidade de aprendizado autônoma operando em um ambiente distribuído que participa de um processo de aprendizado federado enquanto preserva a confidencialidade de seus dados locais. O agente toma decisões baseadas em sua política local enquanto contribui para a melhoria do modelo global.
Política Global
Estratégia de decisão consolidada resultante da agregação das políticas locais dos diferentes agentes participantes em um sistema de aprendizado federado. Esta política representa o conhecimento coletivo e é distribuída periodicamente aos agentes para orientar suas ações futuras.
Agregação de Políticas
Processo algorítmico de combinação das políticas ou parâmetros de aprendizado provenientes de múltiplos agentes locais para formar uma política global melhorada. A agregação tipicamente usa técnicas de média ponderada ou métodos mais sofisticados como FedAvg adaptado ao reinforcement learning.
Comunicação Síncrona
Modo de coordenação onde todos os agentes federados devem terminar seu ciclo de aprendizado local antes de proceder à agregação global. Esta abordagem garante a coerência temporal mas pode introduir gargalos devido aos agentes mais lentos.
Privacidade Diferencial
Quadro formal que garante que a contribuição de um agente individual não pode ser significativamente inferida a partir do modelo global agregado. No contexto federado, protege contra ataques por inferência enquanto permite um aprendizado colaborativo eficaz.
Aprendizado Multiagentes Federado
Extensão do reinforcement learning federado onde vários agentes interagem em ambientes potencialmente diferentes mas compartilham conhecimentos para melhorar coletivamente seus desempenhos. Esta abordagem combina os desafios da coordenação multiagentes com as restrições de confidencialidade federada.
Convergência Federada
Propriedade que garante que o algoritmo de aprendizado federado por reforço atinge uma política ótima ou quase-ótima apesar da distribuição dos dados e da comunicação limitada. A convergência depende de fatores como a heterogeneidade dos dados, a frequência de comunicação e o método de agregação.
Gradiente Federado
Gradiente da função objetivo global calculado de forma distribuída a partir dos gradientes locais dos diferentes agentes participantes. Os gradientes federados permitem a atualização dos parâmetros do modelo sem expor os dados sensíveis dos agentes.
Experiência Local
Conjunto das transições estado-ação-recompensa acumuladas por um agente individual em seu ambiente específico durante um ciclo de aprendizado local. Esta experiência permanece privada e serve apenas para calcular as atualizações locais antes da agregação.
Coordenação Descentralizada
Mecanismo que permite aos agentes alinharem-se em objetivos comuns sem centralização explícita, utilizando protocolos de comunicação ponto a ponto ou consenso. No aprendizado federado, ela emerge através da agregação iterativa das políticas locais.
Agregação Ponderada
Técnica de agregação das contribuições locais onde cada agente recebe um peso baseado na qualidade ou quantidade de seus dados, seu desempenho ou outras métricas relevantes. Esta abordagem permite dar mais influência aos agentes mais confiáveis ou representativos.
Exploração Federada
Estratégia de exploração distribuída onde os agentes exploram diferentes espaços de estados-ações de forma coordenada para maximizar a descoberta coletiva enquanto minimiza a redundância. A exploração federada otimiza a eficiência do aprendizado em ambientes complexos e distribuídos.
Recompensa Distribuída
Sistema de recompensas onde os agentes recebem retornos locais baseados em suas ações enquanto contribuem para um objetivo global compartilhado. As recompensas distribuídas devem equilibrar os incentivos individuais com o desempenho coletivo do sistema federado.
Transferência de Conhecimento Federado
Processo de transferência seletiva dos conhecimentos aprendidos por um agente ou grupo de agentes para outros agentes da rede federada. Esta transferência otimiza a eficiência do aprendizado ao capitalizar as experiências bem-sucedidas enquanto respeita as restrições de confidencialidade.
Robustez a Falhas
Capacidade do sistema de aprendizado federado de manter seu desempenho apesar das desconexões, comportamentos maliciosos ou degradações de alguns agentes participantes. A robustez é essencial para garantir a confiabilidade em ambientes distribuídos não controlados.