Glossário IA
O dicionário completo da Inteligência Artificial
Atenção por Blocos
Abordagem que divide a sequência em blocos e calcula a atenção intra-bloco e inter-blocos de forma sequencial ou hierárquica. Permite processar sequências muito longas trocando informações entre blocos em vez de entre tokens individuais.
Atenção de Padrão Fixo
Esquema de atenção esparsa onde as conexões entre tokens seguem um padrão predeterminado e fixo, como padrões em faixas diagonais ou em zigue-zague. Simplifica a implementação e garante uma complexidade previsível, capturando certas estruturas espaciais.
Atenção com Passos (Strided)
Variante de atenção esparsa onde os tokens consultam outros tokens em intervalos regulares (passos), permitindo capturar dependências em diferentes escalas temporais ou espaciais. Combina eficazmente informações locais e globais com uma complexidade controlada.