Inferência em Tempo Real

Batching Contínuo

Estratégia de processamento onde novas requisições são adicionadas ao lote em execução assim que os slots se tornam disponíveis, maximizando o rendimento (throughput) e reduzindo a latência para requisições curtas.

← Voltar