AI用語集
人工知能の完全辞典
Learning without Forgetting (LwF)
知識蒸留を利用して、新しいタスクを学習しながら、古いデータに対するモデルの応答を維持するアプローチ。元のモデルは教師として機能し、更新されたモデルをガイドすることで、以前のタスクでのパフォーマンスの低下を防ぎます。
Orthogonal Gradient Descent (OGD)
新しいタスクの勾配を、以前のタスクの勾配部分空間に対して直交する空間に射影する手法。この射影により、新しいタスクの学習が過去のパフォーマンスにとって重要な方向に干渉しないことが保証されます。
Dynamical Expandable Networks (DEN)
必要に応じて新しいユニットと接続を追加し、既存の接続を選択的に再活性化または非活性化することで、ネットワークを動的に拡張するフレームワーク。DENは、以前のパフォーマンスを低下させることなく、モデルの容量を新しい要件に適応させます。
PackNet
固定されたバイナリマスクとスパース性の制約を通じて、各タスクに特定のニューラルサブネットワークを割り当てる正則化手法。PackNetは、リソースを分割することで、干渉なしに複数のタスクを1つのネットワークにスタックすることを可能にします。
HAT (Hard Attention to the Task)
ネットワークのアクティブな重みを選択するために、タスクごとのバイナリアテンションマスクを学習する手法。これにより、各タスク専用のパスを作成します。HATは正則化を使用して、異なるタスクに対して異なる重みのサブセットを使用することを促します。
CWR (Copy Weight with Reinit)
各タスクの学習後にモデルの重みを複製し、新しいタスクの学習のために一部の重みを選択的に再初期化する戦略。CWRは、重要な重みのコピーを維持しながら、新しい知識への適応を可能にします。
PathNet
遺伝的アルゴリズムを使用して最適な組み合わせを見つけ、各特定のタスクのためにニューロンのパスが選択および最適化される進化的アーキテクチャ。PathNetは、タスクごとにパラメータを分離しながら、モジュールの再利用を可能にします。
Sup-Sup (Superposition of Superpositions)
ネットワークパラメータの利用率を最大化するために、重みの重ね合わせとタスクの重ね合わせ（マルチタスク）を組み合わせる手法。Sup-Supは、コンパクトなネットワークが忘却なしに複数のタスクを同時に保存・実行することを可能にします。