AI用語集
人工知能の完全辞典
ALBERT
BERTの軽量版で、埋め込みの共有と層の行列因数分解によりパラメータを大幅に削減。競争力のあるパフォーマンスを維持しながら、メモリ効率が高い。
ELECTRA
マスク言語モデリングの代わりに破損したトークンの置換を使用する効率的な事前学習アーキテクチャ。置換されたトークンを識別する識別子を使用し、より高速で高性能な学習を可能にする。
ERNIE
基本のTransformerアーキテクチャに構造化された階層的知識を統合する中国語モデル。単語、エンティティ、フレーズを同時にマスクし、マルチレベルのセマンティクスをキャプチャする。
BART
BERTとGPTの利点を組み合わせた双方向かつ自己回帰的なTransformerアーキテクチャ。テキスト破損を使用したエンコーダー-デコーダーで事前学習を行い、生成タスクに優れる。
Funnel Transformers
重要な情報を保持しながら層を通じてシーケンス長を段階的に削減する階層的アーキテクチャ。長いシーケンスの計算メモリを大幅に節約する。
DeBERTa
コンテンツと分解された位置への注意を統合した改善デコーディングを備えるBERTの改良版。分離された注意メカニズムと改善されたサイズマスキングを使用し、より良いパフォーマンスを達成する。
TinyBERT
高いパフォーマンスを維持しながらパラメータを7.5倍削減するBERTの超コンパクト版。双方向蒸留とマルチレベル注意を適用して圧縮を行う。
CamemBERT
138GBのフランス語テキストで事前学習されたBERTのフランス語版。元のBERTアーキテクチャを維持しつつ、フランス語の理解と処理に特化している。
FlauBERT
フランス語のTransformerベースの言語モデル。より大きなコーパスを段階的に使用した事前学習を行います。フランス語の言語的特異性を統合し、最適なパフォーマンスを実現します。
XLM-RoBERTa
Common Crawlの大規模データセットを使用して100言語で事前学習されたRoBERTaの多言語版。改善された事前学習と低リソース言語のより良い管理により、XLMとmBERTを上回ります。
Sentence-BERT
文章全体をセマンティックベクトルにエンコードするように最適化されたBERTの改良版。セマンティック類似性に関連する埋め込みを生成するために、SiameseネットワークとTripletネットワークを使用します。
VideoBERT
ビデオとテキストの共同表現を学習するBERTのマルチモーダル拡張。ビデオ理解のために、視覚的および言語的トークンで事前学習を行います。
Controlled BERT
テキスト生成中にスタイル属性を制御できるようにしたBERTの変種。望ましい言語的特性を調整するために、アーキテクチャにコントローラーを統合します。