楽天は、日本語に最適化されたオープンかつ高性能の大規模言語モデル(LLM)を3モデル公開しました。楽天グループ株式会社は3月21日、日本語に最適化されたオープンな高性能の大規模言語モデル(LLM)3つを公開しました。高品質データでの事前学習による、高性能なLLMです。Chat」を、オープンなモデルとして公開しました。AIのオープンモデル「Mistral-7B-v0.1」を基に、継続的に大規模なデータを学習させて開発された70億パラメータの日本語基盤モデルです。Instruct」を基にしたチャットモデルで、会話形式の文章を生成するチャットデータを用い、ファインチューニングされています。楽天LLMの事前学習に使われたデータは、与えられた条件に従ってデータを選別および抽出を行う内製のフィルタリング機能と、関連情報をメタデータとして付与するアノテーション作業によって、質を向上させています。これにより、楽天LLMの性能の高さが実現しています。楽天LLMは、日本語に特化して設計された独自の形態素解析器を使用しています。この解析器によって、文章の分割単位であるトークンあたりの文字数が増加し、より多くの情報を単一のトークンに含めることが可能です。従来の形態素解析器と比較して、より効率的に事前学習や推論時のテキスト処理をし、テキストの理解と生成の精度が向上しています。Harness」で高い評価を獲得しています。この評価は、日本語と英語の両方で行われ、楽天LLMがオープンな日本語LLMの中でも特に優れた性能を持つモデルとして認識されています。高品質なデータでの事前学習や、日本語に最適化された形態素解析器の使用など、複数の面で高い効率性と性能を実現していることを示しています。今回発表された3モデルは、文章の要約や質問応答、一般的な文章の理解、対話システムの構築などで商用目的として使用することができるほか、本基盤モデルは他のモデルの基盤としても利用可能です。Face」リポジトリからダウンロードできます。株式会社アイスマイリーが運営するAIポータルメディア「AIsmiley」は、AIの専門家によるコンテンツ配信とプロダクト紹介を行うWebメディアです。AI資格を保有した編集部がDX推進の事例や人工知能ソリューションの活用方法、ニュース、トレンド情報を発信しています。業務の課題解決に繋がる最新DX・情報をお届けいたします。メールマガジンの配信をご希望の方は、下記フォームよりご登録ください。メールマガジン登録メールマガジンの配信をご希望の方は、下記フォームよりご登録ください。名を入力してくださいメールアドレスメールアドレスを入力してくださいニュースPVランキング週間PVランキング世界初!GPT-4o搭載のウェアラブルAIメモリーカプセル「PL...JA豊橋、AIで病害虫の発生を予測する防除DXアプリを導入ネオス、太陽生命の生成AIを活用した実証実験に参画。One」に新機能追加。...関連記事オルツ、日本語RAG(検索拡張生成)で軽量型LLMとして世界最高の精度と推論速度を実現。searchとは?機能や利用方法を詳しく解説PWM日本証券、生成AIを活用したチャットボットの試験運用を開始。Suite」に生成AIエージェントを搭載。