2をベースに、大量の日本語で追加学習した、オープンソースのLLMシリーズなんです。その中には、日本語に特化した汎用モデルや、人間の指示に応えるのが得意なモデルなど、様々な種類が存在します。Betaの使い方や、実際に使ってみた感想、最後にはGPT-4と、Youri7B、Stockmark13Bとの日本語力の比較をまとめています。Beta)」シリーズを発表しました。そのシリーズには、以下の3種類のモデルが存在します。追加学習を行うことで、日本語に特化したものです。70Bは、700億パラメータを持ち、2023年11月2日までで、最大の日本語LLMとなります。これらのLLMは誰でも自由に使うことができ、商用利用も可能です。プログラムが不適切な言葉や表現を生成することがあるため、使用する際には注意が必要です。Betaは誰でも無料で使うことができ、商用利用も可能です。日英特化型のLLMについて詳しく知りたい方は、下記の記事を合わせてご確認ください。70B」を実行してみます。以下のURLからrequests.txtを取得し、Colabにアップロードしてください。その際、requests.txtの最終行に「transformers」と追記してください。参考記事:stabilityai/japanese-stablelm-base-beta-70b次に、以下のコードを実行して、ライブラリをインストールしましょう。requirements.txt続いて、以下のコードを実行すると、日本語の文章が生成されます。skip_special_tokens=True)print(out)上記のコードにおける、以下の部分の文章がプロンプトに当たります。AI史上最強の日本語LLMについて詳しく知りたい方は、下記の記事を合わせてご確認ください。Betaの日本語力をテストするために、日本語検定1級の問題を解いてみようと思います。使用するプロンプト・問題は以下の2問です。以下の文章の「余蘊がない。」の言葉に対して、置き換え可能な、意味の最も類似した語を番号で答えてください。彼女の博士論文は極めて精緻であり、論述を尽くして余蘊がない。不満がないこちらの答えは「2不足がない」です。次の文章を読んで、中点から最後までの正文(一文)を決定してください。「固定点」と訳された最初の文字を記入してください。私は一人の日本人が寄せてくれた手紙を読みました。)に入る、対照的な意味を表す語を選んで、番号で答えてください。)し、南に駿河湾を俯瞰できる、実に見事な景勝の地だ。遠望こちらの答えは、「1仰望」です。「透明性」ということばは、どんなことばから来たのでしょうか。2,さらに、敬語を扱えるのかもテストしたいので、以下のプロンプトで、確認してみましょう。日本語でクライアントに送信する丁寧語・謙譲語を正しく使用したビジネスメールを作成してください。ビジネスメールを効率よく作成していくための考え方、手順を学びます。ビジネスメールを作成するために必要な機能をおさえるとともに、実際の例文にも目を通して、ビジネスメールの文章を作成する感覚を身につけていきます。ここまでの全体の出力結果に対して言えることは、自然な日本語は出力できていますが、質問に答えることはできておらず、GPTのような「次文予測」をしているのだと思われます。このまま利用するには実用的ではないですが、ファインチューニングなどを通して、強力なLLMになることでしょう。Betaの日本語力が本物なのかを検証するために、以下のモデルと比較してみます。GPT-4Youri7BStockmark13B結果は以下の通りです。13B以下の文章の「余蘊がない。」の言葉に対して、置き換え可能な、意味の最も類似した語を番号で答えてください。彼女の博士論文は極めて精緻であり、論述を尽くして余蘊がない。)に入る、対照的な意味を表す語を選んで、番号で答えてください。)し、南に駿河湾を俯瞰できる、実に見事な景勝の地だ。質問に答えられず、不自然な文章になった日本語でクライアントに送信する丁寧語・謙譲語を正しく使用したビジネスメールを作成してください。メール文を書かずに、メールの書き方を出力した。ビジネスに利用できる自然な文章が出力されていた。メール文を書かずに、メールの書き方を出力した。メール文を書かずに、メールの書き方を出力した。Betaは、YouriやStockmarkと同じくらいの性能であることがうかがえます。1,700億以上ものパラメータがあるGPT-4には敵わないのでしょう。そのため、日本語でLLMを動かしたい場合でも、基本的にはGPT-4(ChatGPT)でよさそうですね。7Bについて詳しく知りたい方は、下記の記事を合わせてご確認ください。Beta)」シリーズを発表しました。その中には、日本語に特化した汎用モデルや、人間の指示に応えるのが得意なモデルなど、様々な種類が存在します。追加学習を行うことで、日本語に特化したものです。実行したい場合、本記事の使い方のセクションを参考にしてもらえれば、簡単に実行できます。・自社専用のAIチャットボットの開発などの開発実績がございます。「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。生成AIを社内で活用していきたい方へ「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。セミナー内容や料金については、ご相談ください。サービス紹介資料もご用意しておりますので、併せてご確認ください。中田データサイエンス専攻の大学院生。大学では、生成系AIの拡散モデルを用いた音楽生成について研究。趣味は作曲、サッカー、コーヒー。集計期間:1週間まだデータがありません。高いAIプロフェッショナル集団」を目指して私たちは、AIに関わるすべての人に向けて、透明性の高い適切な情報発信と開発を行います。「WEELは、一番地に足ついたAI情報を教えてくれる」と思っていただけるよう、透明性高い事業運営を行なって参ります。透明性の高い適切な情報発信と開発を行います。透明性高い事業運営を行なって参ります。