トレーニング前の言語モデルとは何ですか？
トレーニング前は、移行学習のカテゴリに属します。既存のニューラルネットワークがトレーニングされている場合、通常は背面からプロパゲーションアルゴリズム（BP）アルゴリズムに基づいており、最初にネットワークのパラメーターをランダム化し、次に確率勾配降下（SGD）などの最適化されたアルゴリズムを使用して連続的に使用しています。最適化アルゴリズムとその他の最適化アルゴリズムを最適化します。モデルパラメーター。トレーニング前の考え方は、モデルパラメーターがランダムに初期化されるのではなく、一部のタスクを介して事前トレーニングの場合、モデルパラメーターのセットを取得し、トレーニング前にこのパラメーターのセットでモデルを初期化することです。自然言語処理の事前訓練の前に、コンピュータービジョンの分野でのトレーニング前プロセスを確認してください。分類タスクでは、一般的に使用されるディープラーニングモデルは、畳み込みニューラルネットワーク（CNN）です。複数の階層構造で構成されるCNNの場合、異なるレベルで学習した画像機能は異なります。特性がより一般的に学習されるほど浅いほど、特定のタスク間の特性と相関がより深く、より強力になります。図1 [6]では、顔、車、車、象、椅子のタスクについては、浅い「線」が同じです。したがって、大規模な画像データの「一般的な機能」は、下流のタスクに非常に役立ちます。
「Monster Hunter：World」のゲームプレーヤーがゲーム内のモンスター向けのマルチ分類システムを作成したいと考えているため、別の簡単な例を挙げましょう（Flying Thunder Dragon、Floating Dragon、Wind Drift Dragon、Bone Hammer Dragonなど。 ）ニューラルネットワークモデルを再トレーニングする可能性は明らかではありません。

幸いなことに、既存の大規模な画像データベースイメージネットには、1400万枚以上の写真を含む20,000を超えるラベル付きデータセットがあります。

Imagenetを通じてトレーニングされたCNNネットワークパラメーターは、モンスターハンターのトレーニングタスクに移行できます。

比較的浅いCNNネットワークが初期化されると、訓練されたパラメーターを使用でき、モデルのパラメーターをモデルの高レベルでランダム化できます。モンスターハンターの特定のタスクをトレーニングする場合、Frozenパラメーターを使用できます。つまり、浅いパラメーターは変更されていません。つまり、浅いパラメーターを使用することもできます。つまり、浅いパラメーターは継続的に発生します。タスク。変更、それによってモンスターの分類に適応します。

画像をコンピューターが処理できる表現フォーム（ピクセルポイントのRGB値など）に変換し、フォローアップ処理のためにニューラルネットワークに入力できます。

自然言語の場合、それを表現する方法は、最初に考慮しなければならない質問です。