2024本記事ではLlama-3.1-Nemotron-70B-Instructを紹介しつつ、実装する方法もお伝えしていきますので、最後まで読むことでLlama-3.1-Nemotron-70B-Instructを扱うことができるようになります!ぜひ最後までお読みください!目次Llama-3.1-Nemotron-70B-Instructの概要Llama-3.1-Nemotron-70B-Instructはユーザーのクエリに対するLLM生成応答の有用性を向上させることを目的としています。Sonnetなどのモデルよりも良い成績を残しています。(REINFORCE)とHelpSteer2-Preferenceプロンプトが使用されており、初期ポリシーとしてLlama-3.1-70B-Instructモデルが採用。Transformersコードベースで利用できるように変換されたバージョン「Llama-3.1-Nemotron-70B-Instruct-HF」も提供されています。参考:https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Instruct-HFLlama-3.1-Nemotron-70B-Instructの特徴Llama-3.1-Nemotron-70B-Instructは従来のLLMモデルと比較して、いくつかの点で優れた性能を発揮。Hardの結果からも一目瞭然です。従来のLLMモデルとLlama-3.1-Nemotron-70B-Instructを比較すると、優れた有用性、RLHFによる微調整、HelpSteer2のデータセットの活用、推論の最適化などによって、性能が向上しています。優れた有用性Llama-3.1-Nemotron-70B-Instructは、ユーザーの質問に対する応答の有用性を向上させるように開発。MT-Benchといった、3つのベンチマークすべてにおいて、2024年10月1日時点で1位にランクインしています。Eloを予測する上で重要で、これは、従来のLLMモデルと比較して、より人間らしい、有益で、正確な応答を生成できることを示唆しています。Feedback)を用いて、Llama-3.1-70B-Instructモデルをベースに微調整。具体的には、REINFORCEアルゴリズム、Llama-3.1-Nemotron-70B-Reward、HelpSteer2-Preferenceプロンプトを用いてトレーニングしており、これにより、ユーザーのフィードバックを反映した、より洗練された応答を生成することが可能となっています。HelpSteer2データセットの活用HelpSteer2データセットは、21,362のprompt-responseペアで構成されており、モデルを人間の好みに合わせるように設計されており、より有用で、事実に基づいて正しく、一貫性があり、複雑さと冗長性に基づいてカスタマイズ可能な応答を生成することを目指しています。Llama-3.1-Nemotron-70B-Instructは、このデータセットを用いてトレーニングされているため、従来のLLMモデルと比較して、より人間らしい応答を生成することが可能。Frameworkを使用した推論を実証しています。これにより、従来のLLMモデルと比較して、より高速かつ効率的な推論が可能になっています。数学などの専門分野でのパフォーマンスについては、調整されていないことに注意が必要です。HelpSteer2についてHelpSteer2-Preferenceは、大規模言語モデルの報酬モデルをトレーニングするために利用される高品質なデータセットです。このデータセットは、既存のHelpSteer2データセットをベースにしており、プロンプトと応答ペアに対して好みの方向や強度、理由をアノテーションするという特徴があります。これにより、LLMがユーザーの指示により適切に従うことを目指したモデルの開発が進められています。参考:https://arxiv.org/pdf/2410.01257報酬モデルは、LLMが指示に従い、有益かつ安全に応答できるようにするために非常に重要。これまで報酬モデルのトレーニングには、Bradley-Terry方式やRegression方式が主に使われてきましたが、どちらが優れているかということは未解決でした。いうのも、それぞれが異なるデータ形式を必要とするため、適切な比較ができなかったからです。そこでHelpSteer2-Preferenceでは、Bradley-Terry方式の好みのアノテーションが追加され、Regression方式のデータ(レーティング)と併用することで、これらの方式の直接比較が可能となりました。さ、冗長性といった次元で評価させます。アノテーターは7つの好みの選択肢から1つを選び、その理由を記録。アノテーターは必ずいずれかの回答を好む選択をしなければならず、優柔不断な回答を排除してより精度の高い好みの情報を取得します。各タスクには3〜5人のアノテーターが関与し、最も類似した3つの好みのアノテーションの平均値が最終的なデータとして使用されます。この厳格なプロセスを経て、トレーニング用に6,766ペア、バリデーション用に352ペアが収録された高品質なデータセットが作成されました。HelpSteer2-Preferenceのメリットとして、高品質なデータや多様なタスク、好みの理由のアノテーションが含まれること、そしてオープンソースである点が挙げられます。参考:https://arxiv.org/pdf/2410.01257Llama-3.1-Nemotron-70B-InstructモデルのパフォーマンスLlama-3.1-Nemotron-70B-Instructモデルは、以下の3つのベンチマークでトップパフォーマンスを達成しています。ArenaにおけるEloレーティングを予測するベンチマークです。Sonnetなどのモデルを凌駕。2024年10月1日現在、このモデルは3つの自動アライメントベンチマークすべてで1位にランクされています。LCは、大規模言語モデルの命令追従能力を評価するベンチマークです。Llama-3.1-Nemotron-70B-Instructは、この指標で57.6というスコアを達成しています。検証済みタブにおいて、2024年10月1日時点で最高のパフォーマンスを発揮しています。参考:https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Instruct-HFこれらの評価指標は、大規模言語モデルの有用性、人間らしさ、正確性を評価するために設計されており、Llama-3.1-Nemotron-70B-Instructがこれらの指標でトップパフォーマンスを達成していることは、このモデルが従来のLLMモデルと比較して、より高度な能力を持っていることを示唆しています。Communityライセンスです。そのため、月間アクティブユーザーが700万人未満の場合は商用利用可能。3.2について詳しく知りたい方は、下記の記事を合わせてご確認ください。2024年9月25日にMetaから新たなAIモデルが登場しました。Faceにコードが掲載されているので、そちらを参考に実装可能です。」という条件が書かれています。ColaboratoryのA100でも40GBであり、実際に実装をしましたが、40-50分程度実行していても実行が終了せず、かなり重たいことがわかりました。Faceからダウンロードして実行するとなかなか推論結果を得ることができないため、API経由で推論結果を得てみます。Key」をクリックすれば取得できます。end="")APIを経由したデモ動画は以下です。Llama-3.1-Nemotron-70B-Instructと他のLLMで同じ内容を検証Llama-3.1-Nemotron-70B-Instructのパフォーマンスは他のLLMよりも優れていることが報告されています。Sonnetに同じ内容を投げかけ、出力がどう変化するのかを比較してみたいと思います!検証する内容は以下の2つです。1.取引先に対して、アポイントメントのメールを作成してください。2.あなたは、優秀なビジネスマンです。以下の内容をもとに、欠勤メールの文章をリライトしてください。不適切な内容は排除してください。messages=[{"role":"user","content":"取引先に対して、アポイントメントのメールを作成してください。messages=[{"role":"user","content":"""あなたは、優秀なビジネスマンです。以下の内容をもとに、欠勤メールの文章をリライトしてください。不適切な内容は排除してください。end="")Llama-3.1-Nemotron-70B-Instructアポイントメール作成結果はこちら以下は、取引先に対してアポイントメント(面会、ミーティング、会議などの約束)のためのメールのサンプルです。必要に応じて内容を調整してください。【アポイントメントのお願い】[otreameeの名前/会社名]様との[面会/ミーティング/会議]のご予約[取引先の名前]様[取引先の会社名][あなたの名前][あなたの会社名][あなたの連絡先(電話番号、メールアドレス)]お世話になっております。[あなたの名前]です。先日は[前回のやり取り、あるいは取引内容]に関しまして、ご多忙のところ大変お世話になりました。現在、[プロジェクト/提案/ディスカッション]の進捗にあたり、[otreameeの名前]様のご貴重なお時間をいただき、直接お話しづきに進めたいと思っております。以下の日時で、アポイントメントのご予約をご確認いただけないでしょうか。ご都合の良い日時が異なる場合は、お気軽にご連絡いただけますと幸いです。Meetなど])も可能です。ご希望に応じてご案内致します。**予定時間**:約[時間]時間ご都合の確認および、ご希望の日時・場所等がございましたら、[あなたのメールアドレス]または[あなたの電話番号]までお知らせいただければ幸いです。早めのご連絡をお待ちしております。今後ともどうぞよろしくお願い申し上げます。日時、場所、目的を具体的に記載する。複数の日時オプションを提示することで、取引先のスケジュールに合わせやすくする。迅速なご連絡が取れるよう、電話番号とメールアドレスを明記する。丁寧な言葉遣いと礼儀を忘れない。Llama-3.1-Nemotron-70B-Instruct欠勤メール作成の結果はこちら以下がリライトされた欠勤メールの文章です。**件名:お休みのお願いおよび業務の代行のお願い**お世話になっております。先日のお礼を兼ねた飲み会の影響で、現在二日酔いの症状が強く、朝から頭痛がひどくお休みをいただきたく存じます。本日予定していた業務について、ご代行いただけないでしょうか。明日については体調が回復した場合、出勤いたします。ご不便おかけしますことをお詫び申し上げます。**連絡先**:【ご自身の連絡先(メールアドレス、電話番号など)】GPT-4oアポイントメール作成結果はこちら以下は、取引先に送るアポイントメントのメールのサンプルです。(担当者名)様いつも大変お世話になっております。△△株式会社の(あなたの名前)です。貴社の製品/サービスについて、弊社と貴社の今後の協業に関してお話をさせていただきたく、ご都合のよろしい日時でアポイントメントをお願いできればと存じます。上記日程の中でご都合がつかない場合は、他の日程もご調整可能ですので、ご希望をお知らせください。面談はオンライン(Zoom/Teamsなど)での実施も可能ですので、その旨もご希望があればご連絡ください。○○(上司の名前)様お疲れ様です。○○(あなたの名前)です。昨日の飲み会の影響で、今朝から体調不良が続いており、頭痛がひどいため、本日はお休みをいただきたく存じます。恐縮ではございますが、本日の私の担当業務につきましては、対応いただけますと幸いです。明日には体調が回復する予定ですが、状況次第でご連絡させていただきます。お忙しいところ申し訳ございませんが、どうぞよろしくお願い申し上げます。いつもお世話になっております。○○株式会社の××でございます。取引について・新規プロジェクトの提案つきましては、以下の日程でお時間をいただけますでしょうか。16:00~17:00ご都合のよろしい日時をお知らせいただけますと幸いです。オンラインミーティングでも構いませんので、ご希望がございましたらお申し付けください。○○部長いつもお世話になっております。△△部の□□でございます。誠に恐れ入りますが、体調不良のため、本日は欠勤させていただきたくご連絡申し上げます。申し訳ございませんが、本日予定しておりました業務につきましては、代理の方にお願いできますと幸いです。明日の出社につきましては、体調の回復状況を見て判断させていただき、改めてご連絡させていただきます。ご迷惑をおかけして誠に申し訳ございません。した結果は以下の動画です。Sonnetが適切かなという印象です。Sonnetだけ、二日酔い感を出していないので、メールを送る際にはこの文面が適切かと思いますなお、次世代動画トラッキングAICoTracker3について詳しく知りたい方は、下記の記事を合わせてご確認ください。Metaがリリースした新AIモデルCoTracker3は、従来のポイントトラッカーに比べて大幅に効率化され、少ないデータで高精度なトラッキングを実現します。本記事では、CoTracke...まとめ本記事では、NVIDIAの新しいLLMモデル「Llama-3.1-Nemotron-70B-Instruct」について紹介しました。このモデルは、ベンチマーク結果でも従来のLLMより優れており、高い汎用性を持つことがわかりました。ユーザーからのフィードバックを基に応答を最適化する技術や、NVIDIAの推論最適化ソリューションにより、高速かつ効率的な推論が可能です。今後は、コーディングを含めたさらなる検証を通じて、Llama-3.1-Nemotron-70B-Instructの性能を深く探っていく予定です。この記事を参考にして活用してみてください!最後にいかがだったでしょうか?生成AIを活用し、ビジネスを次のステージへ進めましょう。具体的な活用事例や最適な導入方法について、ぜひご相談ください。・生徒の感情や学習状況を踏まえ、勉強をアシストするAIアシスタントなどの開発実績がございます。「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。生成AIを社内で活用していきたい方へ「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。セミナー内容や料金については、ご相談ください。各側面について比較・検証した資料も配布しております。この機会にぜひご活用ください。10年間理学療法士として勤務し、その後Pythonを独学で学びデータアナリストとして転職。集計期間:1週間まだデータがありません。高いAIプロフェッショナル集団」を目指して私たちは、AIに関わるすべての人に向けて、透明性の高い適切な情報発信と開発を行います。「WEELは、一番地に足ついたAI情報を教えてくれる」と思っていただけるよう、透明性高い事業運営を行なって参ります。透明性の高い適切な情報発信と開発を行います。透明性高い事業運営を行なって参ります。