AI用語集
人工知能の完全辞典
自己教師あり学習
人工的な監視タスクを作成することで、ラベルなしデータから表現を学習する学習パラダイム。このアプローチにより、コストのかかる手動アノテーションなしに大量のデータを活用できます。
コントラスト学習
埋め込み空間で類似した正のサンプルを近づけ、類似しない負のサンプルを遠ざけることで表現を学習する自己教師あり学習技術。この方法は、同じサンプルの異なる拡張間の一致を最大化します。
プレテキストタスク
自己教師あり学習のために設計された人工的なタスクで、モデルにラベルなしデータから有用な特徴を学習させます。これらのタスクは、下流タスクに転移する前にモデルを訓練するための前口実として機能します。
モーメンタムコントラスト (MoCo)
負のサンプルのキューを維持し、モーメンタムエンコーダを使用して表現の一貫性を確保するコントラスト学習フレームワーク。このアプローチにより、大きなバッチサイズを必要とせずに多数のネガティブサンプルを使用できます。
SimCLR
ニューラルネットワークを通過した後、同じサンプルの異なる拡張間の一致を最大化するシンプルなコントラスト学習フレームワーク。このアプローチは、データ拡張とバッチサイズが性能に重要であることを示しています。
BYOL
ネガティブサンプルを使用せず、非対称なアーキテクチャと予測子を持つ2つのネットワークに依存する自己教師あり学習手法。BYOLは、勾配停止とモーメンタム更新により自明な崩壊を回避します。
特徴表現
生データを意味論的関係が維持され、下流タスクで利用可能な潜在空間にベクトル符号化すること。自己教師あり学習で学習された表現は、転移可能な一般的な特徴を捉えます。
ラベルなしデータ
手動によるアノテーションのない生データで、ラベル付きデータと比較して豊富かつ安価に収集できます。自己教師あり学習は、これらのデータを効果的に活用して高性能なモデルを事前訓練します。
埋め込み空間
低次元のベクトル空間で、データがその意味的・構造的関係性を捉えるために投影される。自己教師あり学習では、識別的な埋め込み空間を学習することが目的である。
ネガティブサンプリング
コントラスト学習時に、アンカーから埋め込み空間で離れた位置にあるべき例を選択する手法。ネガティブの戦略的選択は、学習される表現の品質に直接影響する。
射影ヘッド
エンコーダーの主な部分の後に適用される追加のニューラルネットワークで、表現をコントラスト損失が計算される空間にマッピングする。このヘッドは、下流タスクへの転移時に通常除去される。
エンコーダーアーキテクチャ
生データを意味のあるベクトル表現に変換する役割を担うニューラルネットワークの構造。アーキテクチャの選択（ResNet、Transformerなど）は、モデルの抽象化能力に影響を与える。
DINO
ネガティブサンプルを使用せず、2つのネットワーク間の知識蒸留に基づく自己教師あり手法。DINOは画像の意味を自然に捉える表現を生成し、クラスタリングに適している。