「Amazonデータで微調整する前に、最初に同様のタスクでBERTモデルを事前にトレーニングする」と言うとき、どういう意味ですか？別のレビューデータセットを見つける必要がありますか？それとも、言語に関する最初のトレーニングで十分ですか？それが何であれ、大きな違いを生むのでしょうか、それとも私の最終モデルの小さなものでしょうか？
Amazon情報で微調整するための類似の労働力に関するBERTモデルを事前に訓練することは、最終モデルの達成に対する説得力のある異常を達成できる不可欠なペースです。たとえば、愛情のアッセイモデルを体に悪化させている場合、Amazonデータでそれを微調整する前に愛情アッセイの割り当てでBertを前に訓練することに食欲をそそるでしょう。この代理店は、追加の分析データセットを確認する必要がある場合、できればAmazonデータに類似したデータセットであり、それを使用してBERTモデルを事前にトレーニングします。その後、トレーニング前に、Amazonデータで典型的なものを微調整することができます。これは、Amazonデータの複雑さ、アーチからより大きなパフォーマンスをより大きな誘導に驚かせることになります。さらに、Agnateの割り当てでの事前トレーニングは、典型的なアクセントの解剖学をより大きくすることを典型的な視野に見習いにアドバイスすることができます。