Infrastructure ML

Cold Start

Latence initiale observée lors de la première requête à un service d'inférence serverless ou à un modèle fraîchement chargé, due au temps de provisionnement des ressources et de chargement du modèle en mémoire.

← Terug