Glossário IA
O dicionário completo da Inteligência Artificial
Audio Spectrogram Transformer (AST)
Uma arquitetura Transformer que aplica diretamente mecanismos de atenção em representações de espectrogramas de áudio, tratando o sinal como uma imagem 2D para tarefas de classificação.
Conformer
Uma arquitetura de modelo híbrido para reconhecimento de fala que combina módulos de convolução, autoatenção e feed-forward para capturar dependências locais e globais em sequências de áudio.
Wav2Vec 2.0
Um framework de aprendizado autossupervisionado para reconhecimento de fala pré-treinado em dados de áudio brutos, utilizando quantização vetorial para aprender representações discretas da fala.
HuBERT
Hierarchical Hidden-Unit BERT, um modelo autossupervisionado que aprende representações de áudio hierárquicas prevendo unidades latentes a partir de clusters de características acústicas.
Jukebox
Um modelo generativo baseado em Transformer e VQ-VAE capaz de produzir música bruta com vocais de alta fidelidade, condicionando a geração em metadados artísticos e genéricos.
Music Transformer
Uma arquitetura Transformer com um mecanismo de atenção relativa otimizada para modelagem de sequências musicais longas, capaz de gerar peças musicais com coerência estrutural.
SpecAugment
Uma técnica de regularização para modelos de áudio que aplica transformações de mascaramento em espectrogramas (frequência e tempo) para melhorar a robustez do modelo contra a corrupção do sinal.
Autoatenção em Sequências de Áudio
A aplicação do mecanismo de autoatenção em sequências de vetores acústicos, permitindo ao modelo ponderar dinamicamente a importância de diferentes partes do sinal de áudio para a previsão.
Tokenização de Áudio
O processo de discretização de um sinal de áudio contínuo em uma sequência de tokens discretos, frequentemente via um VQ-VAE, para torná-lo compatível com arquiteturas Transformer baseadas em tokens.
Cross-Attention Áudio-Texto
Um mecanismo de atenção onde as consultas vêm de uma modalidade (ex: texto) e as chaves/valores de outra (ex: áudio), fundamental para modelos de reconhecimento de fala e narração de áudio.
Perceiver IO de Áudio
Uma arquitetura baseada em Perceiver IO que processa sequências de áudio de comprimento variável, transformando-as em um espaço latente de tamanho fixo antes de gerar previsões, eficaz para tarefas de classificação e transcrição.
Squeeze-and-Excitation de Áudio
Um bloco de atenção de canal adaptado a dados de áudio, aprendendo a recalibrar dinamicamente as respostas características dos mapas de espectrogramas, modelando as interdependências entre os canais.
Transformer Convolucional para Áudio (CTT)
Uma arquitetura que integra convoluções no bloco Transformer para capturar eficientemente padrões locais em espectrogramas antes de aplicar a autoatenção para dependências globais.
Treinamento Contrastivo de Áudio (CLAP)
Um método de aprendizado multimodal que utiliza uma perda contrastiva para alinhar representações de áudio e texto em um espaço compartilhado, permitindo a classificação de áudio zero-shot.
Atraso Causal em Transformers de Áudio
Uma restrição de arquitetura onde a atenção para um determinado passo de tempo só pode ser feita em passos de tempo presentes e passados, essencial para modelos de streaming e geração de áudio em tempo real.
Codificação Posicional 2D para Espectrogramas
Uma técnica de codificação posicional que codifica informações espaciais (tempo e frequência) para tokens extraídos de espectrogramas, permitindo ao Transformer compreender a estrutura 2D do sinal de áudio.
Ajuste Fino para Tarefas de Áudio Específicas
O processo de adaptação de um Transformer de áudio pré-treinado em uma grande base de dados para uma tarefa específica, como detecção de eventos sonoros ou identificação do locutor, congelando ou retreinando seletivamente as camadas.
Modelo de Linguagem de Áudio (AudioLM)
Uma abordagem que trata a geração de áudio como uma tarefa de modelagem de linguagem, prevendo tokens acústicos discretos com um Transformer, de forma similar a como os modelos de linguagem geram texto.