文章コーパスから汎用言語を学習する・ファインチューニング・・・個別のタスクのラベル付きデータからそのタスクに特化させれるように学習する・ラベルなしデータ・・・生の文章データのみのようなラベル付けされていないデータ・マスク付き言語モデル・・・ある単語を周りの単語から予測するというタスクで、学習を行い、ランダムの15%のトークンを[Mask]に置き換えて学習するようにしているとのこと。Predictioon・・・二つの文の関係性を理解できるように実施しているタスク・事前学習に必要な日付・・・スペックにも依存するが、数日から数週間程度かかるとのこと。・BERTで個別のタスクを解く・・・タスク内容に応じてBERTに新しい分類器を接続するなどでモデルを作る→BERTは特徴抽出器のような役割を果たすとのこと。Transformers・PyTorch・・・直感的なコーディングができ、ネットワークモデルの構築が容易となる。・Transformers・・・ニューラル言語モデル・Fugashi・・・形態素解析ツールで、MecabをPythonで使えるようにしたものとのこと。・「cl-tohoku/bert-base-japanese-whole-word-masking」・・・東北大学の研究チームによって作られており、Wikipediaの日本語記事をもとに学習されているとのこと。→別ブログで書いていますが、産学連携して作られたものかどうか気になりますね。(Step)1トークナイザで文章をトークン化し、BERTに入力させられる状態にする2そのデータをBERTに入力し、出力を得ると一旦以上で学習を区切りたいと思います。ご精読ありがとうございました。焦らずコツコツ一歩ずついきたいと思います。投資ロウトの技術ブログエンジニアとして成長していくブログです。ネイティブアプリエンジニア、機械学習エンジニア、インフラエンジニアバッジを贈って著者を応援しようバッジを受け取った著者にはZennから現金やAmazonギフトカードが還元されます。バッジを贈るDiscussion投資ロウトの技術ブログエンジニアとして成長していくブログです。Proよくある質問LinksX(Twitter)GitHubメディアキットLegal利用規約プライバシーポリシ。