2021.08.23「どうせまともな日本語の文章なんてできるわけがない」このように思っているなら、自分の目で確認してみてください。Python初心者でも、試せるようにわかりやすく説明しています。日本語文章の自動生成に必要なモノ日本語GPT-2モデルTransformersSentencePiece日本語GPT-2モデルの動作確認それでは、上記に沿って解説していきます。日本語文章の自動生成に必要なモノ「個人が無料で日本語文章の自動生成ができる」これを実現するために必要なモノは、以下。日本語GPT-2モデルTransformersSentencePieceもちろん、大前提としてPythonを動かす環境は必要です。個人的には、PyCharmが現状では最高だと感じています。版のインストールに関して解説しています。self-development.info2020.12.30上記で挙げた必要なモノを下記で説明していきます。日本語GPT-2モデルGPT-2は、OpenAIが開発した言語モデル(テキスト生成モデル)です。単語レベルの確率の組み合わせから、文の確率を計算します。「人間が使う言葉らしさ」であるほど、その確率は高くなります。このGPT-2は、簡単に利用できるようになっています。Transformersをインストールすれば、利用可能です。そのためには言語毎に言語モデルが必要となります。日本語を扱うためには、日本語で学習した言語モデルが必要ということです。日本語の文章作成には日本語GPT-2モデルが不可欠と言えます。それが、ありがたいことに用意されています。日本語GPT-2モデルhttps://huggingface.co/rinna/japanese-gpt2-mediumrinna社が、2021年4月7日に公開しています。GPT-2自体は、2019年2月にリリースされています。日本人としては、「やっと来た~!!」という感じです。個人では、絶対にそんなモデルを作成できませんからね。個人ができない理由は、以下。rinna社が公開した資料より、一部抜粋。GPUを用いて、70ギガバイトの日本語テキストを約1カ月の長期間にわたってトレーニングしました。この日本語GPT-2モデルをどうやって利用するのでしょうか?上記でも言いましたが、Transformersが必要となります。TransformersTransformersについては、次の記事で説明しています。HuggingfaceのTransformersをインストールする「最先端の自然言語処理」を触りたければ、HuggingfaceのTransformersをインストールしましょう。BERTをもちろん、60以上のアルゴリズムをTransformersで試すことが可能です。この記事では、Transformersについて解説しています。self-development.info2021.08.15上記を参考にして、Transformersのインストールを行います。Transformersだけでは日本語GPT-2モデルの利用はできません。日本語GPT-2モデルは、SentencePieceをトークナイザーとして利用しています。そのため、SentencePieceのインストールも必要となります。SentencePieceSentencePieceについては、次の記事で解説しています。(RNN)による文章生成で必要なSentencePieceのインストール日本語文章の生成では、形態素解析(MeCab)ではなく、サブワードでもなく、SentencePieceが効果的です。このことは、MeCabの開発者自身が述べています。この記事では、SentencePieceのインストールとその使い方について解説しています。self-development.info2021.08.22上記を参考にして、SentencePieceのインストールを行います。これで、TransformersとSentencePieceをインストールした状態のはずです。この時点で、インストール済みのパッケージを確認しておきます。1.26.6Transformersの前提となる、PyTorchもインストール済みですね。個人的には、TensorFlowよりもPyTorchをおススメします。以上、これで日本語GPT-2モデルを動かす準備が整いました。次で、日本語GPT-2モデルの動作確認を行います。日本語GPT-2モデルの動作確認サンプルとして公開されているコードを少しだけ変更しています。print(tokenizer.batch_decode(output))まずは、接頭辞を用意します。その内容をもとにして、自動で文章を作成することになります。今回は、最大で150文字の文章を3つ作成します。引数「max_length」と「num_return_sequences」で指定しています。モデルのダウンロードに時間がかかります。自分自身への投資にもなる。それ以上の何かがあるからだ。それなりの知性が必要だ。いうか、それに近いことを書いてある。自分自身の価値を高めることにもつながるのです。ご自身のビジネスに活かしてください。体験できる貴重な機会です。会場が変更となります。お間違えのないようにお越しください。事前申込は不要で、当日いつでもお気軽に会場にお越し下さい。(※会場が変更となります。お間違いのないようにお越しください。定員が200名、各回の定員が40′なかなかのレベルで文章を作成してくれるようです。実行する度に文章の内容は異なります。実行結果はお題「接頭辞」次第のところがあるようです。意味をなさない文章も出てきます。それもモデルの質が上がれば、解決していくのでしょう。言っても、個人が無料でここまでできる時代になったことに驚きです。【アンチコメントへの対応】ソーシャルメディアを使ったブランディング「ブランディングする上でネガティブコメントへの対応方法を知りたい」「SNS上でのアンチコメントにどう対応すればいいのかわからない」「商品・サービスに対する誹謗中傷への接し方を知りたい」このような場合における対応方法について解説しています。最新の物体検出をYOLOv5で行います。この記事では、YOLOv5をWindowsで動かすための方法を解説しています。PyTorchのインストールから、YOLOv5による実際の物体検出までを初心者でも理解できるように説明しています。遅いWord2vec・fastTextのモデルをMagnitude形式に変換その差がなんと、260倍!!Magnitudeの爆速を体感したら、Word2vecもfastTextも遅くて使いたくないでしょう。この記事では、Magnitude形式のモデルに変換する方法を解説しています。処理速度の比較表も載せています。【Python】キーフレーズ抽出のためにpkeをインストールするキーフレーズ抽出をPythonで行うなら、pkeがその選択肢となります。この記事では、そのpkeをインストールして動かせるまでを解説しています。サンプルコードも載せているため、Pythonの初心者でもすぐにキーフレーズ抽出ができるようになれます。データ分析スクレイピングで大量に集めたAmazonレビューのクレンジング【Python】350万件!!Amazonのレビューをスクレイピングで集めました。みなさんは、機械学習用の日本語テキストをどうやって用意していますか?個人では、なかなか難しいはずです。残された手段は、スクレイピングしかありません。大量データの扱いから、データのクレンジグについてまで説明しています。人気ビジネス系YouTuberのマナブ、マコなり社長、イケハヤ大学、もふもふ不動産を対象に分析しました。動画のタイトル文字数が再生回数に影響するのでしょうか?この記事では、その問いに対してデータをもとに説明しています。「MusixmatchのAPIを利用したい」このような場合には、この記事の内容が参考になります。Keyを取得する方法を解説しています。Sleep(CLIP+BigGAN)のインストールゲーミングPC並みのスペックのあるPCがあれば、是非ともAIアートを試してみてください。Sleep(CLIP+BigGAN)を使って、センスのある画像を生成することができます。Sleepのインストールを解説しています。DiffusionのNSFWコンテンツ対策を無効化する方法2022.08.262022.09.30PyTorchのインストール失敗時にチェックすべきこと2022.03.082022.03.22self_developmentプロフィールself_developmentをフォローするタイトルとURLをコピーしました。