AI用語集

📖

用語

InfoNCE損失

ノイズによる対比相互情報量推定の原理に基づく対照損失関数で、正例サンプルと負例サンプルを区別するために使用される。

📖

用語

温度 (τ)

対照ソフトマックスにおけるスカラーハイパーパラメータで、分布の集中度と潜在空間での表現の間隔を制御する。

📖

用語

潜在表現

エンコーダによって学習される固定次元の特徴ベクトルで、入力データの本質的なセマンティック情報を捉える。

📖

用語

メモリキュー

対照学習において負例サンプルの数を増やすために、前のバッチの表現を保存するFIFOデータ構造。

📖

用語

モーメントンエンコーダ

高度な対照学習手法においてキー表現の一貫性を保証するために、指数移動平均によってパラメータが更新されるエンコーダ。

📖

用語

強力なデータ拡張

RandomResizedCrop、カラージッタリング、ガウシアンブラーなどの積極的なデータ変換で、大幅に異なるが意味的に同等のビューを作成する。

📖

用語

線形評価プロトコル

学習された特徴の品質を測定するために、凍結された表現に対して線形分類器のみをトレーニングする標準評価方法。

📖

用語

大バッチサイズ

SimCLRで大規模バッチ（4096-8192）を使用し、追加のメモリやトリックなしで十分な負例サンプルを提供する。

📖

用語

射影空間

コントラスト損失が適用される縮小された次元の特徴空間（通常128）であり、最終表現空間とは異なります。