2024-07-03WEELメディア事業部LLMリサーチャーの中田です。3」を、Anthropicが公開しました。Opusは、様々な業界ベンチマークでSOTAを達成しており、GPT-4よりも高い性能を発揮しているんです!公式Xでの投稿のいいね数は、9800を超えており、かなり期待されていることが分かります。3の使い方や、有効性の検証まで行います。3の凄さを理解し、ChatGPTには戻れなくなるでしょう。最後までご覧ください。3の新モデルには、以下の3つのモデルが含まれます。約1万トークンを3秒以内に読めるこれらのモデルの違いとしては、Opus→Sonnet→Haikuの順に精度が高いですが、コストも同順で高くつきます。UltraやGPT-4よりも高い性能を誇っています。3モデルには新たな機能として、画像と文章を同時に処理できるマルチモーダル機能が追加されたとのことです。写真やチャート、グラフなど、様々な形式の画像を処理することができます。OpusはGPT-4Vよりも、高い画像認識性能を持っていることが分かります。3ではかなり改善されていることが分かります。下の図の縦軸が「無害なプロンプトを誤って拒否する割合」を表しています。2.1に比べて、「複雑な質問」への回答精度が2倍の精度に向上したそう。従来モデルと同様、20万トークンまで対応していますが、場合によっては100万トークン以上に対応しているとのこと。2について詳しく知りたい方は、下記の記事を合わせてご確認ください。3のライセンスに関する情報は公式サイトには記載されていませんでしたが、利用規約を各員すると禁止されている利用用途や商用利用について詳しく記載があるので、利用前にしっかり確認しましょう。Policyまた、前述の通りClaude3の各モデルで利用料金が異なります。利用料金については、以下の通りです。3を利用する方法としては、以下のような方法があります。AIちなみに、AWSのBedrockでの利用に関して、2024年4月7日現在では、SonnetとHaikuのみ利用可能で、Opusについては近日リリース予定とのことです。3の全てのモデルすべてを利用可能になる」とのこと。AIでもSonnetとHaikuのみ可能となりました。※3今回は、Claude公式のWebブラウザ版のチャットを利用したいと思います。claude.aiにアクセスしてください。以下の画面に移動するので、登録を行いログインをしましょう。Keys」でAPIキーを取得できます。Claude」をクリックすると、以下のUIに移動します。左上の「Model」のプルダウンメニューから、Claudeのモデルを選択できます。Claude.AIからの利用であれば、無料でSonnetを利用できるので、課金に抵抗がある方は無料版のSonnetを利用すると良いでしょう。Pro(月額20ドル)に加入する必要があります。今回は課金してOpusを試してみます。試しに、日本語で「現在の日本の総理大臣は誰ですか?」と質問してみます。結果は以下の通りです。岸田文雄氏は、2021年10月4日に第100代内閣総理大臣に就任しました。勝利し、国会での指名選挙を経て総理大臣に選出されました。岸田氏は1957年7月29日生まれ、広島県出身です。(現在の経済産業省)に入省しました。その後、政界入りし、衆議院議員を務めています。岸田氏は安倍内閣と菅内閣で外務大臣を務めた経験があります。自由民主党の有力な派閥である宏池会に所属し、党内でも影響力のある政治家の一人です。総理大臣就任後は、新型コロナウイルス対策や経済政策などに取り組んでいます。日本語にも対応しているようで、「文章も自然である」と一部のユーザーから評価されています。2.1について詳しく知りたい方は、下記の記事を合わせてご確認ください。3の威力を検証するために、Opusモデルと、以下の2つを比較しました。1.0検証内容として、以下の3つのタスクを実行させました。日本語のポエム作成それでは順番に見ていきましょう。画像認識(名刺読み取り)まずは、以下の名刺を画像として読み込ませ、名刺の形式に沿って文字起こしをさせようと思います。使用するプロンプトは、以下の通りです。well.和訳:この名刺をすべて文字起こしし、形式も合わせてコードブロックとして出力してください。それぞれの結果は、以下の通りです。Ultraの結果です。Ultraだけ、正しく出力できませんでした。画像認識の深層学習モデルの構築CIFAR-10を用いて画像認識モデルを構築し、「どちらのLLMで構築したモデルの方が、精度が高いのか」を検証します。使用したプロンプトは、以下の通りです。possible.和訳:PyTorchで簡単に利用できるCIFAR-10データセットを使用して、画像認識のディープラーニングモデルを作ってください。その際、できるだけ精度の高いモデルを作ってください。Opusの結果は以下の通りです。GPT-4の結果は以下の通りです。1.0の結果は以下の通りです。Colabで実行した際の、テストセットの結果は、以下の通りです。Opusで生成したモデルの精度が最も高い結果となりました。最後に、日本語の短い恋愛ポエムを出力させようと思います。使用したプロンプトは、以下の通りです。Japanese.和訳:短い恋愛ポエムを日本語で作ってください。Opusの結果は以下の通りです。言葉は少なくでも確かに通じ合える離れていても心は一ついつの日にか結ばれるようにGPT-4の結果は以下の通りです。