AI用語集
人工知能の完全辞典
データドリフト
学習データと比較してプロダクション環境での入力データの統計的分布が変化し、モデルのパフォーマンスが低下する現象。予測の妥当性を維持するために検出が重要。
コンセプトドリフト
入力変数とターゲット変数の関係が変化する現象で、問題の意味や文脈が変わる。このタイプのドリフトは入力分布が安定したままでも発生するため、より厄介。
パフォーマンス監視
モデルの評価メトリック（精度、再現率、F1スコアなど）を実際のデータで継続的に追跡し、劣化を特定すること。アラートや再トレーニングのアクションをトリガーする。
MLダッシュボード
監視の主要メトリック、ドリフトアラート、プロダクション環境のモデルの健全性を集約した中央可視化インターフェース。MLOpsチームの意思決定を支援する。
自動アラート
パフォーマンスメトリックやドリフト指標の事前設定されたしきい値によってトリガーされる通知システム。モデルの動作異常に対する迅速な対応を確保する。
安定性メトリック
現在のデータ分布と参照データ（学習データ）分布の類似性を定量化する指標。カルバック・ライブラーダイバージェンスや人口安定性指数などが一般的に使用される。
特徴量重要度分析
各入力変数のモデルの予測への影響の変化を監視すること。突然の変化はデータドリフトやモデルの動作変更を示唆することがある。
プロダクションにおける解釈可能性
予測の説明（例：SHAP、LIME）を監視し、モデルが常に同じロジックと特徴量を使用していることを確認すること。重要システムの信頼性と監査可能性に不可欠。
予測異常検知
モデルの劣化や既知の分布外のデータの存在を示唆する可能性がある、異常な予測や異常に低い信頼度の予測を特定すること。これは自動化のためのセキュリティ層です。
予測レイテンシ
リクエスト受信からモデルによる予測の返却までの経過時間を測定するメトリクス。高レイテンシがユーザー体験に影響を与えるリアルタイムアプリケーションでは、その監視が不可欠です。
本番環境でのバイアス
モデルが特定の集団を差別しないように、実データ上でのモデルの公平性とバイアス指標を継続的に監視すること。バイアスはドリフトにより発生または増幅される可能性があるため、監視が必要です。
構造化ロギング
入力、予測、メタデータ、パフォーマンスメトリクスを構造化された形式（例：JSON）で記録すること。これにより、事後分析、デバッグ、監視パイプラインへのデータ供給が容易になります。
モデルのバージョニング
トレーニングされたモデルの各バージョンを追跡・管理すること。通常、モデルレジストリを介して行われます。監視は、デプロイされた各バージョンのパフォーマンスを区別できる必要があります。
フィードバックループ
将来のトレーニングサイクルに供給するため、モデルの予測に関するフィードバック（修正、アノテーション）を収集するプロセス。このフィードバックの品質と量を監視することは、システムの健全性の指標です。