AI用語集

📖

用語

分類トークン（[CLS]）

パッチシーケンスに追加される特殊トークンで、その最終的な表現は画像全体の分類タスクに使用される。NLPにおけるBERTと同様の役割を果たす。

📖

用語

2次元位置エンコーディング

埋め込み表現に追加されるパッチの空間的位置情報。シーケンシャルな処理にもかかわらず、モデルが画像の2次元構造を理解できるようにする。

📖

用語

帰納的バイアス

モデルに組み込まれた前提条件。ViTは、ピクセルの局所性や平行移動に関する事前知識を組み込まないため、CNNよりも帰納的バイアスが弱い。

📖

用語

ウィンドウ自己注意機構

注意計算をパッチのローカルウィンドウに制限するメカニズム。高解像度画像における標準MHSAの二次計算量を削減する。

📖

用語

大規模データセットでの事前学習

ImageNet-21kやJFT-300Mなどの大規模コーパスでViTを初期訓練する段階。弱い帰納的バイアスを克服し、良好な性能を達成するために不可欠。