AI 词汇表
人工智能完整词典
模型A/B测试
比较部署技术，其中同一模型的两个版本在用户不同细分上同时测试，以评估它们在真实条件下的相对性能。
在线推理
实时推理模式，模型按需处理单个预测，延迟最小，通常通过REST API或gRPC进行。
批量推理
推理方法，在定期间隔内为数据批次生成预测，优化吞吐量而非单个延迟。
无服务器推理
部署架构，云计算基础设施由云提供商自动管理，按使用付费，基于需求自动扩展。
边缘AI部署
在边缘设备上部署机器学习模型以本地执行推理，减少延迟和网络依赖，同时保护数据隐私。
模型服务
通过API端点暴露机器学习模型进行生产推理的基础设施和流程，包括加载、生命周期管理和优化。
机器学习自动扩展
根据推理负载动态调整计算资源的机制，使用请求量或延迟等特定指标。
模型可观测性
通过详细的日志、指标和跟踪理解生产中模型内部状态和行为的能力，用于调试和优化。
Gradual Rollout
Stratégie de déploiement contrôlé où l'exposition du nouveau modèle augmente progressivement (10%, 25%, 50%, 100%) avec validation à chaque étape.
Model Serialization
Processus de conversion du modèle entraîné en format stockable et transportable (Pickle, ONNX, SavedModel) pour le déploiement et l'inférence en production.
Inference Pipeline
Séquence d'étapes de traitement appliquées aux données d'entrée avant et après la prédiction du modèle, incluant le preprocessing, l'inférence et le postprocessing.