AI用語集

📖

用語

相互情報量の下限

計算値が2つの確率変数間の真の相互情報量を決して超えないことを保証する数学的推定値。対照学習の文脈では、この下限により、相互情報量を直接計算することなく間接的に最適化することができます。

📖

用語

ネガティブサンプル

対照学習で使用される例であり、アンカーと類似していないと見なされ、表現空間で遠ざけるべきもの。ネガティブサンプルの戦略的な選択は、対照学習モデルの性能にとって重要です。

📖

用語

ポジティブサンプル

対照学習で意味的に類似していると見なされる例のペア。通常、同じ画像の拡張や時間的に近い要素から生成されます。モデルは、潜在空間でのそれらの類似性を最大化することを学習します。

📖

用語

インスタンス識別

対照学習において、バッチ内の各インスタンスが独自の個別クラスとして扱われる事前学習タスク。このアプローチにより、モデルは各個別サンプルに対して一意の表現を学習するよう強制されます。

📖

用語

相互情報量の最大化

同じデータの異なる拡張ビュー間で共有される情報を最大化することを目指す学習目標。InfoNCEは、高次元の文脈でこの目標の効率的でスケーラブルな推定を提供します。

📖

用語

NT-Xent損失

正規化温度スケーリングクロスエントロピー損失。SimCLRで使用されるInfoNCE損失の特定の実装。この損失は、ソフトマックスで温度を適用する前にベクトルを正規化します。

📖

用語

メモリーバンク

対照学習でネガティブサンプルのリザーバとして機能するために、以前のサンプルの表現を格納するデータ構造。このアプローチにより、計算負荷を増やすことなく多数のネガティブサンプルを使用できます。