AI用語集

📖

用語

アダプタ層

事前学習済みモデルの層間に挿入される軽量なニューラルモジュールで、新しいタスクに適応させるためのもの。これらの追加層のみをファインチューニング時に学習させ、モデルの元の知識を保持する。

📖

用語

段階的ファインチューニング

ファインチューニングをモデルの上位層から開始し、徐々に下位層へと進めていく適応戦略。このアプローチは基本的な表現を保持しながら、専門的な層を適応させるのに役立つ。

📖

用語

タスク特化ヘッド

分類や生成などの特定タスクに適応させるために事前学習済みモデルに追加される追加モジュール。このヘッドは通常、モデルの部分的なファインチューニングと組み合わせて、または別個に学習される。

📖

用語

層凍結

ファインチューニング中にモデルの特定の層の重みを変更しないようにする技術。このアプローチにより、基本的な知識を保持しながら、上位層のみを新しいタスクに適応させることができる。