イメージェネットを使用してトレーニング前モデルとしてトレーニングしたCNNネットワークの例を提起しました。しかし、これは画像処理における人工知能の例です。私が尋ねるのは、訓練前の言語モデルなので、言語モデルでのトレーニング前の方法の適用についてもっと心配しています。世界のトレーニング前モデルは何ですか？
ヘッダーアイコン
現在、BERT（変圧器からの双方向エンコーダーの再現）、GPT（一般的な訓練を受けた変圧器）、Elmo（Langugeageからの埋め込み）モデル）、XLNET（一般化した自己婚shissingのプレゼンティング）など、世界には多くの公共訓練言語モデルがあります。 、などBertは、テキスト分類や文の類似性の計算などの複数の自然言語処理タスクに使用できる2つのウェイトランスに基づいた事前トレーニングモデルです。GPTは、トランスに基づくトレーニング前モデルであり、テキストの生成とテキスト分類に使用できます。Elmoは、テキスト分類および文の類似性計算に使用できる言語モデルに基づくプリトレーニングモデルです。XLNETは、テキスト分類と文の類似性計算に使用できる自己回帰の事前トレーニングに基づくモデルです。