AI用語集
人工知能の完全辞典
TabNet
表形式データに特化して設計されたシーケンシャルニューラルネットワークアーキテクチャ。各決定ステップにおいて、解釈可能な形で関連する特徴を選択するために、アテンティブマスキングメカニズムを使用する。
アテンティブマスキング (Attentive Masking)
TabNetの中核をなすメカニズム。関連性の低い特徴をシーケンシャルにマスキングすることを学習し、モデルが特定の予測に対して最も情報量の多い変数に集中できるようにする。
シーケンシャル特徴学習 (Sequential Feature Learning)
TabNetが複数のステップを通じてデータの表現を学習するプロセス。各ステップは、前のステップの情報に基づいて特徴の選択を洗練させていく。
Feature Transformer
マスキングされた入力特徴を、全結合層とGLU活性化関数を用いて、より高次元の新しい表現に変換するTabNetのモジュール。
GLU (Gated Linear Unit)
TabNetのFeature Transformerで使用される活性化関数。線形射影をシグモイドゲートで乗算することで情報の流れを制御し、ネットワークが複雑な関係をモデリングする能力を向上させる。
アテンティブトランスフォーマー (Attentive Transformer)
TabNetの構成要素。前の状態と変換された特徴に基づいて、次の決定ステップのためのアテンションマスクを生成し、注意を向けるべき場所を決定する。
決定ステップ (Decision Step)
TabNetアーキテクチャにおける基本的な処理単位。Feature TransformerとAttentive Transformerを組み合わせ、部分的な出力と次のステップのためのマスクを生成する。
SER (Series Regression Network) - シリーズ回帰ネットワーク
TabNetがインスピレーションを得ている理論上の概念。複雑な予測を、それぞれが最終的な結果を洗練させる一連のより単純な決定としてモデル化することから成る。
埋め込みによるカテゴリエンコーディング
TabNet用のカテゴリ変数の前処理技術で、各カテゴリをトレーニング中に学習された低次元の密ベクトルにマッピングし、モデルがカテゴリ間の意味的関係を捉えることを可能にします。
バッチ正規化
TabNetのブロック内で適用される層で、各バッチの活性化を平均ゼロ、単位分散に正規化することで、トレーニングを安定化し加速させます。
スパース性正則化
TabNetで使用される技術で、注意マスクが少数の特徴のみを選択するよう奨励し、よりシンプルで解釈可能なモデルを促進します。
可変深さアーキテクチャ
TabNetの特性で、信頼できる予測に十分な情報がある場合にモデルが停止することを学習できるため、実際に使用される決定ステップ数が各サンプルで変動する可能性があります。
表形式データ
行と列に編成された構造化データのタイプで、スプレッドシートやリレーショナルデータベースに典型的であり、TabNetが特に最適化されています。
欠損特徴へのロバスト性
TabNetの能力で、入力データの欠損値を効果的に処理し、複雑な事前補完を必要とせずにそれらをマスクし適応することを学習します。
マスキングのための強化学習
理論的観点では、TabNetでのシーケンシャルマスキングプロセスは意思決定プロセスと見なすことができ、モデルは精度報酬を最大化するための特徴選択ポリシーを学習します。
マスキングニューラルネットワーク
TabNetがその一例であるニューラルネットワークのクラスで、学習したマスクを使用して入力またはニューロンのサブセットを動的に選択し、効率と解釈可能性を向上させます。