AI用語集
人工知能の完全辞典
マルチアノテータ能動学習
複数のアノテータが協力して、能動学習アルゴリズムによって選択された最も有益なデータにラベル付けを行う機械学習のパラダイム。このアプローチは、アノテータの相補的な専門知識と変動するコストを活用することで、人的リソースの利用を最適化します。
協調的サンプリング戦略
ラベルの全体的な品質を最大化するために、複数のアノテータの嗜好と専門知識を調整するサンプル選択手法。モデルの不確実性と、各アノテータのスキルに基づいたタスクの最適な配分との間のバランスをとります。
アノテータの専門知識モデル
異なるクラスやデータタイプにおける各アノテータの能力、信頼性、および特定のバイアスを定量化する確率的または決定論的なフレームワーク。このモデルは、各貢献者の個々の強みに基づいてサンプルの割り当てをガイドします。
動的サンプル割り当て
現在の専門知識と空き状況に基づいて、未ラベルのサンプルをリアルタイムで最も適切なアノテータに割り当てる適応的プロセス。この割り当ては、アノテーションの品質と時間的または金銭的予算とのトレードオフを最適化します。
アノテータ間信頼度行列
類似のサンプルに対する異なる貢献者のアノテーション間の一貫性と相対的な信頼性を測定するデータ構造。これにより、系統的な不一致を検出し、最終的なラベル集計のための信頼度の重みを調整することができます。
適応的アノテーション・コスト
サンプルの難易度と必要な専門知識に応じて、各アノテーションに割り当てられる報酬または時間を調整する可変コストモデル。このアプローチは、情報の獲得量の観点から最も収益性の高い割り当てを優先することで、予算の配分を最適化します。
アノテーションの多様性
過度な特化を避け、特徴空間のカバレッジを最大化するために、アノテータ間でサンプルが多様に分散されることを保証する選択基準。専門知識の活用と新しい視点の探索との間のバランスを維持します。
マルチソースラベルの集約
重み付き投票、Dawid-Skeneモデル、ベイズ推論などの手法を使用して、複数のアノテータからのラベルを単一のコンセンサス予測に結合する融合技術。この集約は個々のエラーを修正し、より信頼性の高いラベルを生成します。
重み付き不確実性サンプリング
モデルの不確実性を評価しつつ、各サンプルを解決するために必要なコストと専門知識に基づいてその測定値に重みを付ける戦略。利用可能なアノテーターの能力に応じて、最良の情報/利益比率を提供するインスタンスを優先する。
マルチアノテーター型クエリ・バイ・コミッティ
異なるアノテーションのサブセットで複数のモデルをトレーニングし、最も予測的な不一致（意見の相違）があるサンプルを特定する、Query-by-Committeeの拡張版。このアプローチは、委員会内のアノテーターの視点の多様性によって強化されている。
アノテーターのキャリブレーション
個人のバイアスを修正し、異なる貢献者間の信頼度スケールを調和させるために、アノテーターの予測を体系的に調整するプロセス。キャリブレーションにより、信頼性スコアが比較可能となり、動的割り当てに利用できるようになる。
アノテーション品質評価
各貢献者が提供したアノテーションの精度、一貫性、および情報的価値を測定する継続的なメトリクス・フレームワーク。これらのメトリクスは専門性モデルに供給され、将来の割り当て決定を導く。
インテリジェント・サンプル・ルーティング
パフォーマンス予測子とリソース制約に基づいて、各ラベルなしサンプルを最適なアノテーターまたはアノテーターグループにルーティングする自動化された意思決定システム。このルーティングは、協調的アノテーションプロセスの効率を最大化する。
マルチエキスパート半教師あり学習
大量のラベルなしデータを活用するために、マルチアノテーター能動学習と半教師あり学習の技術を組み合わせたハイブリッドアプローチ。高品質なアノテーションをシードとして使用し、データセット全体にラベルを伝播させる。
アノテーター信頼性モデル
アノテーターが正しいアノテーションを行う確率の数学的表現。多くの場合、サンプルのタイプに依存する条件付き分布としてモデル化される。このモデルは、過去のアノテーションの蓄積に伴って動的に進化する。
探索・活用戦略
専門的なアノテーターに馴染みのあるサンプルを割り当てること（活用）と、新しいタイプのデータでの能力を発見すること（探索）のバランスをとる意思決定フレームワーク。この戦略は、短期的な品質を最大化しながら、過度な専門化を防ぐ。
専門家の意見の統合
複数のアノテーターの判断を、相関関係、ドメイン固有の専門知識、およびパフォーマンス履歴を考慮して統合する高度な手法です。最適な統合のために、ベイズ的手法や信念グラフが頻繁に使用されます。