AI用語集
人工知能の完全辞典
プログレッシブネットワークス
新しいタスクごとに新しい列を追加しながら、以前のタスクの知識を保持するニューラルネットワークアーキテクチャ。このアプローチにより、壊滅的忘却を伴わない継続学習が可能になります。
横方向接続
プログレッシブネットワークアーキテクチャにおいて、以前のタスクの列を新しい列に結びつける横方向の接続。これらは知識の転送と学習済み特徴量の再利用を可能にします。
カラム単位アーキテクチャ
各タスクが独自の相互接続されたニューラルカラムを持つ組織構造。このアーキテクチャにより、既存の知識を乱すことなく新しいタスクのためにモデルを拡張できます。
順方向転移
以前のタスクで獲得した知識が新しいタスクのパフォーマンスを向上させる現象。この正の転移はプログレッシブネットワークの横方向接続によって最適化されます。
逆方向転移
新しいタスクを学習した後、以前のタスクのパフォーマンスを遡及的に向上させるモデルの能力。プログレッシブネットワークはこの双方向の知識転移を容易にします。
知識保持
新しいタスクを学習する際に、以前のタスクで獲得した知識が劣化しないことを保証するメカニズム。この保持は継続学習において根本的に重要です。
タスク固有アダプター
一般的な特徴量を各タスクの特定の要件に適応させるためにアーキテクチャに挿入される専門モジュール。これらのアダプターは、共有知識を保持しながら最適な柔軟性を可能にします。
容量拡張
新しいタスクに対応するために新しいニューラルカラムを追加してモデルの容量を動的に増大させる戦略。この制御された拡張はリソースの飽和を回避します。
ニューラル可塑性
ニューラルネットワークが新しい情報に応じて適応し、接続を変更する能力。プログレッシブネットワークでは、この可塑性を制御して既存の知識を保持します。
シナプス知能
以前のタスクにとって重要なシナプス接続を特定し保護する、継続的学習の手法。このシナプス知能は知識保持のメカニズムに統合されています。
弾性重み統合
以前のタスクにとって重要なシナプス重みの大幅な変更にペナルティを課す正則化技術。この弾力的なアプローチは学習と保持の間のトレードオフを可能にします。
メモリ対応シナプス
過去のタスクへの貢献度に基づいて各シナプスの重要性を評価し、将来の学習を導くアプローチ。この記憶意識は知識の転送を最適化します。
勾配エピソードメモリ
災害的忘却を対抗するために、以前のタスクの例を保存・検索するメカニズム。このエピソードメモリは新しいタスクの学習時に勾配を導きます。
動的アーキテクチャ拡張
モデルが最大容量に達したときに、新しいニューロンリソースを自動的に追加するプロセス。この動的拡張は継続的学習システムにとって不可欠です。
マルチタスク表現
複数のタスクに共通する情報を同時に捉える共有特徴空間。これらのマルチタスク表現はプログレッシブネットワークのアーキテクチャで最適化されます。