2024-04-01WEELメディア事業部LLMリサーチャーの中田です。研究チームが公開しました。8x7B」の日本語能力が強化されたものなんです!Xでの投稿のいいね数は、国内だけですでに300を超えており、注目されていることが分かります。8x7Bを公開しました。8x7Bの日本語能力を引き上げました。7Bはオープンな7BのLLMの中で日本語最高性能を達成しました。mistralの使い方や、有効性の検証まで行います。mistralの凄さを理解し、これまでの日本語LLMには戻れなくなるでしょう。最後までご覧ください。研究チームによって開発された日本語LLMです。8x7B」の2つのモデルを、日本語に特化させたものになります。nistralには、以下の2つのモデルが含まれます。Vault」コーパスを使用して、継続事前学習されたそう。7Bに関しては、日本語に関するベンチマークにおいて最高性能を達成したそう。(MoE)を採用したモデル」だそうです。MoEとは、複数のエキスパートモデルが協力して問題を処理する技術。以下の動画が、かなり直感的に分かりやすいです。mistralの各モデルの性能は、以下の通りです。7Bに関しては、他の7Bモデルよりも平均的に高い性能を示しています。70Bモデルに匹敵するほどの性能を叩き出しています。東工大が開発した日本語LLMについて詳しく知りたい方は、下記の記事を合わせてご確認ください。Colab上で実行しました。以下のコードを実行して、必要なライブラリをインストールしましょう。protobuf続いて、以下のコードを実行することで、言語を生成できます。skip_special_tokens=True)print(out)上記はSwallow-MS-7bに「東京工業大学の主なキャンパスは、」というプロンプトを入力し、続きの文章を出力させる例です。Swallow-MX-8x7bで実行したい場合、「model_name=”tokyotech-llm/Swallow-MX-8x7b-NVE-v0.1′′」としましょう。Swallow-MS-7bでの出力結果は以下の通りです。東京工業大学の主なキャンパスは、大岡山キャンパスとすずかけ台キャンパスの二つがあります。前者のキャンパスは、地下鉄大岡山駅と東急目黒線奥沢駅を利用することができ、電車での通学が可能です。この大岡山駅からキャンパスまでの道のりには急な坂があるため、自転車通学をする人が多いです。東急バスを利用することが可能なため、公共交通機関を利用した通学も便利です。東京工業大学は都心から少し離れたまた、以下のプロンプトで、コーディング能力も検証しました。20個ほどのダミーデータで単回帰分析を行えるpythonコードを書いてください。Swallow-MS-7bでの出力結果は以下の通りです。単回帰分析における残差とは何ですか。単回帰分析では次のようなものを残差と呼んでいます。単回帰分析において、説明変数で説明しきれない部分はどのようになりますか。単回帰分析では説明できる部分しか説明できないので、説明できない部分については残差となって残ります。単回帰分析を用いて、グラフの傾向から推定した回帰式の直線が、実際のデータに当てはまるかどうかを確認するにはどうすれば良いですか。単回帰分析の仮説検定を行います。単回帰分析を用いて、データ間の関係を分析します。そのときデータの散布度が高くなるのは、どのような場合ですか。データの散布度は以下のように定義されています。単回帰分析を用いて、データの線形性を評価するにはどうすれば良いですか。次のように線形回帰分析を用いて分析することができます。次の図を見て、次の文章の空欄に当てはまるように適切な文字を挿入して下さい。説明変数が単一の時には(1)回帰分析、(2)分散分析、(3)主成分分析が行われます。説明変数が複数あるときには、(1)回帰分析、(2)分散分析、(3)主成分分析(4)因子分析が行われます。単回帰分析は、(1)多重共線性が発生しているとき、(2)説明変数の数が多いとき、(3)説明変数の説明力が強いとき、(4)説明変数と標本の数が少ないときには行われません。単回帰分析の仮説検定とは何ですか。単回帰分析において、次の説明変数を使うことができますか。単回帰分析を用いて、データの散布度が高くなるのは、どのような場合ですか。次の図は、単回帰分析における標本の説明力を表しています。線形回帰分析を用いて、散布度の高いと低いの違いがわかりますか。次の図は、単回帰分析における標本の説明力を表しています。説明変数が多くても、線形回帰分析を用いて、散布度の高いと低いの違いがわかりますか。次の図は、単回帰分析における標本の説明力を表しています。説明変数が少なくても、線形回帰分析を用いて、散布度の高いと低いの違いがわかりますか。次の図は、単回帰分析における標本の説明力を表しています。多重共線性が発生している場合には、線形回帰分析を用いても、散布度の高いと低いの違いがわかりませんか。単回帰分析において、説明変数で説明しきれない部分はどのようになりますか。単回帰分析を用いて、データ間の関係を分析します。線形回帰分析を用いて、データの散布度が高くなるのは、どのような場合ですか。説明変数が多くても、線形回帰分析を用いて、データの散布度の高いと低いの違いがわかりますか。$コードブロックの部分を実行したところ、正しく分析を行ってくれました。単回帰分析ではなく重回帰分析になっていますが。ちなみに、Swallow-MX-8x7bで試したところ、checkpointをロードする段階でセッションがクラッシュしたので、今回は試していません。そのため、今後はSwallow-MS-7bで実行していきます。GBなお、ChatGPTの4倍ほど速い日本語LLMについて詳しく知りたい方は、下記の記事を合わせてご確認ください。mistralの「ビジネスにおける日本語能力」を検証するために、以下のタスク2つを試してみます。商談のアポイントメール作成キャッチコピー作成その際、GPT-4にも同じプロンプトを入力して、出力結果を比較してみます。取引先との商談の日程調整を行うための「アポイントメール」を作成してもらいます。使用したプロンプトは、以下の通りです。取引先との商談の日程調整を行うためのアポイントメールを作成してください。Swallow-MS-7bでの出力結果は以下の通りです。貴社ますますご清栄のこととお喜び申し上げます。・平素は格別のご愛顧を賜り、厚く御礼申し上げます。・早速ではございますが、お仕事の件でご連絡申し上げました。・貴社ご担当の田中様にご連絡を頂戴し、お電話にて打ち合わせの機会をいただきたくご連絡申し上げます。・取り急ぎメールにてご連絡申し上げますが、ご多忙のところ大変お手数をおかけいたしますが、何とぞご検討よろしくお願い申し上げます。メールを受け取る側の手順を解説します。日付」と記載があることを確認してください。日付を見ることで何月何日のアポイントなのかをすぐに確認することができます。・本文に「ご多忙のところ大変お手数をおかけいたしますが、何とぞご検討よろしくお願い申し上げます。」といった、言葉があれば丁寧な印象を与えられるので、できれば添えたいところです。・メールが届いていれば、件名や本文の内容を確認したうえで、メールを送ってくれることへのお礼の一文を添えて返信し、日程の調整を行っていきます。・・・・お忙しいところご連絡いただきありがとうございます。・・・・4月5日の10:00と4月10日の16:00のどちらの時間にお伺いいたしましょうか。・・・・ご都合の良い日時を教えていただけますと幸いです。・・・・何卒よろしくお願いいたしますGPT-4での出力結果は、以下の通りです。時下ますますご清栄のこととお慶び申し上げます。平素は格別のご高配を賜り、厚く御礼申し上げます。[貴社/貴社の製品やサービスに関連する内容]につきまして、さらに詳細なご説明をお聞きしたいと考えております。[自社の製品やサービスに関連する内容]についてもご紹介させていただければと存じます。つきましては、貴社との商談の機会を設けていただきたく、ご日程のご相談をさせていただきたいと思います。ご多忙のところ恐れ入りますが、[希望する週や日にち]にお時間をいただけますと幸いです。貴社のご都合を最優先いたしますので、ご指定いただける日時をお知らせいただければ幸いです。場所につきましては、貴社または当社のオフィス、またはオンラインでの開催も可能ですので、ご都合の良い方法をご指定ください。貴重なお時間をいただき、直接お話ができる機会を心より楽しみにしております。ご返信いただけますようお願い申し上げます。今となっては懐かしい「ニンテンドーDS」を、リバイバル商品として売り込むためのキャッチコピーを作成してもらいます。昔人気だったゲーム機の「ニンテンドーDS」を、リバイバル商品として売り込むためのキャッチコピーを作成してください。Swallow-MS-7bでの出力結果は以下の通りです。「私のDS、今、ニワカです。※ニワカ:新しい趣味などにはまっている人。※ニワカ:新しい趣味などにはまっている人。感謝の超特大号」(フジテレビ系列)にて同局の女性アナウンサーが「フジテレビが本気になったゲーム」と紹介。『ドラゴGPT-4での出力結果は、以下の通りです。ニンテンドーDS:あの感動を、もう一度。AIが開発した最強の日本語LLMについて詳しく知りたい方は、下記の記事を合わせてご確認ください。mistral」について解説しました。8x7B」の2つのモデルの日本語能力を向上したものです。そのため、日本語のあらゆるタスクで、応用できるでしょう。mistralの比較では、やはりまだまだ日本語能力においても、GPT-4のほうが上といった印象でした。Swallowの方でも、日本語自体の自然さは十分あるので、工夫次第でとても便利なツールになるでしょう。ちなみに、公式ブログによると、instruct版は無いそうです。instruct版モデルはないのでしょうか?評価や評価結果の集計が間に合わなかったため、今回はリリースしていません。今年度中に、Swallowシリース全体のinstructモデルのアップデートを行う予定ですので、お待ちいただけますと幸いです。8x7Bが「MoEを採用した史上初のモデル」と呼ばれることに対し、以下のような意見が挙がっています。3やChatGPTよりも、Swallowの方が親近感があるという声も。7B』を昨日公開した。同規模のオープンモデルでは日本語最高性能らしい。......ので早速パラメータをイジってハイテンションなオタク構文LLMに魔改造してみた。ChatGPTよりもSwallow君の方が親近感あって好きだな...。・自社専用のAIチャットボットの開発などの開発実績がございます。「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。生成AIを社内で活用していきたい方へ「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。セミナー内容や料金については、ご相談ください。サービス紹介資料もご用意しておりますので、併せてご確認ください。中田データサイエンス専攻の大学院生。大学では、生成系AIの拡散モデルを用いた音楽生成について研究。趣味は作曲、サッカー、コーヒー。集計期間:1週間まだデータがありません。高いAIプロフェッショナル集団」を目指して私たちは、AIに関わるすべての人に向けて、透明性の高い適切な情報発信と開発を行います。「WEELは、一番地に足ついたAI情報を教えてくれる」と思っていただけるよう、透明性高い事業運営を行なって参ります。透明性の高い適切な情報発信と開発を行います。透明性高い事業運営を行なって参ります。