RAGデータセットと東京大学入学試験のデータセットを用いて日本語でのRAG精度を向上させました。RAGデータセットは、日本語Wikipediaから抽出した情報を基にした質問・回答の構成で、高品質なベンチマークを形成しています。評価の結果、「LHTM-OPT2」はGPT-4oと同等の精度を持ち、特に東京大学の国語科目で高いパフォーマンスを示しました。これにより、今後のAI活用がさらに期待されます。この記事の要約オルツの新モデル「LHTM-OPT2」が登場。独自データセットで日本語RAG精度を向上。評価でGPT-4oとほぼ同等の精度を達成。千貴、以下、オルツ)は、当社が開発する軽量大規模言語モデル「LHTM-OPT」シリーズの最新バージョン「LHTM-OPT2(ラートム・オプト2)」をリリースいたしました。達成したことをお知らせいたします。Marketplace上に日本語LLMとして世界初公開:https://alt.ai/news/news-2553/「LHTM-OPT」は、小規模GPUマシンで実用的な、パラメータ数が最適化された新たな軽量型大規模言語モデルです。国語科目データセットを用いて評価を行いました。3つ組を作成することです。このデータは、専門家の手によって再度確認、修正を行うことで、高品質のRAGベンチマークになります。おける国語大学科目問題の前提テキスト(段落)とその設問をRAGの入力とし、LLMがその段落と設問から生成した回答を専門家が評価しました。RAGデータセットでは、「LHTM-OPT2」が、GPT-4oと同等レベルの精度(LHTM-OPT2:91.0%、GPT-4o:90.8%)を達成しました。おけるRAGに関する質問では、「LHTM-OPT2」が、GPT-4oの94%の精度を達成しました。MT-Bench(MTベンチ)※3」でも、軽量型LLMとしての最高スコアを記録しました。推論速度に関しては、SambaNova社の協力を得て、日本語推論において平均速度500TPS(トークン/秒)、最大速度796TPSを確認しました。スコア:「弊社が独自に開発した日本語WikipediaデータによるRAGデータセット」というLLM・RAGベンチマークによる評価で、軽量型LLMとして、パラメータ数が10B以下のモデルの中での比較として国内トップスコアを達成。(2024年10月15日時点。AI社が提供しているベンチマークテストです。2024年10月15日に性能評価した結果、軽量型LLMとして最高点の評価を得ました。MT-Bench」はGPT-4を評価者としたものです。日本語専用のLLM超高速推論は、オルツとSambaNova社が初めて実現しました。(2024年10月15日時点。地位確立を目指します。顧客へ最高品質のソリューションを提供することで、日本企業の労働生産性向上に資する取組みを推進してまいります。大規模言語処理ソリューションに関するお問い合わせ先https://alt.ai/aiprojects/gpt/株式会社オルツについて2014年11月に設立された当社は、「P.A.I.」(パーソナル人工知能)、AIクローンをつくり出すことによって「人の非生産的労働からの解放を目指す」企業です。Concept、概念実証)により様々なビジネス上の課題を切り口としてソリューション展開するプロダクト(「altBRAIN」、「AIコールセンター」、「CLONEdev」など)を開発・提供しています。メディア・製造・小売・サービス業など、ジャンルを問わずAIソリューションの提供および支援を行っております。お気軽にお問い合わせください。長尾英太ブロックチェーン技術記者、長尾といいます。ブロックチェーンについては投資/投機的な観点よりも、技術として未来の社会でどのように取り込まれていくかを中心に発信したいです。最近ではNFTやメタバースなどに注目しています。2017年にブロックチェーンの技術ライターとして独立。