2024-07-22WEELメディア事業部LLMリサーチャーの中田です。ここ数日で、言語生成AIの「Groq」が話題になりました。2024XでのGroq関連の投稿のいいね数は、すで1100を超えており、国内でも期待されていることが分かります。Groqまじでやばすぎる。GPT-4とかと比べるまでもないしDeepLより全然速いし、完全なるゲームチェンジャー。2024この記事ではGroqの使い方や、有効性の検証まで行います。本記事を熟読することで、Groqの凄さを実感し、その他のLLMサービスには戻れなくなるでしょう。最後までご覧ください。目次Groqの概要Groqとは、1秒で500トークン出力できるAIチャットボットです。これは、GPT-4の「20トークン/秒」と比較しても、25倍の速度を誇ります。GoogleのTPUを開発した人が立ちあげたスタートアップで、結構前からあるらしい。それが最近になって、話題になったのだとか。70Bとmixtralがお試しできたので触ったら、宣伝文句どおりGPUより一桁高速でたまげた。キモはASICとパイプラインコンパイラ。CEOはGoogleでTPU作ってたらしい。2024ChatGPTと同様、無料でWebブラウザ上で試すことができ、日本語も対応可能とのこと。Unit)と呼ばれる新しいチップにより実現されており、GPUやCPUを超える計算能力で、生成速度を飛躍的に向上させています。Unit(LPU)と呼ばれます。このLPUでは、AIにおける計算において効率的なアーキテクチャが採用されているそう。これにより、計算効率が大幅に向上し、大規模大きなAIのプロジェクトでもスムーズに動かすことができます。2024一方、Groqは生成速度が強みとはいえ、トレードオフとして品質の低下が少ないと言われています。70Bを上回るLLMについて詳しく知りたい方は、下記の記事を合わせてご確認ください。参考:https://ai.meta.com/llama/license/Groqの使い方まずは、GroqのWebブラウザ版のページに移動してください。すると、以下の画面に移動すると思います。here」の部分が、プロンプトを入力する箇所です。ちなみに、Groqでは、以下の3種類のモデルが利用可能です。7B-8kモデルに関しては、左上のプルダウンメニューから選択できます。参考:https://groq.com/また、右上の設定メニューでは、システムプロンプトや最大出力トークン数などを設定できます。参考:https://groq.com/参考:https://groq.com/参考:https://groq.com/試しに、日本語で「日本の総理大臣は誰ですか?」とたずねてみます。すると、結果は以下の通りになりました。参考:https://groq.com/日本語だと不自然な回答ですが、英訳の文章だと、「日本の内閣総理大臣は岸田文雄である。2021年10月4日就任。」と回答しているのが分かります。ちなみに、こちらの回答は正しいです。Time」の部分を見ると、回答までにわずか0.54秒しか要していないことが分かります。ちなみに、APIも利用できるので、Groq公式のAPIに関するページを参考にしてください。Groqを動かすのに必要なPCのスペックChatGPTと同様で、オープンソース化されていないので、必要なスペックは不明です。2について詳しく知りたい方は、下記の記事を合わせてご確認ください。2】オープンソース版ChatGPTの使い方〜ChatGPTとの比較までGroqとGPT-4を比較してみたここでは、Groq(Mixtral8×7B)とChatGPT(GPT-4)を比較します。70BやGPT-3.5よりも高い」と言われているからです。参考:https://mistral.ai/news/mixtral-of-experts/具体的には、以下のタスクを解かせます。「回答速度」と「生成結果の精度」を比較していきます。画像認識の深層学習モデルの構築まずは、CIFAR-10を用いて画像認識モデルを構築し、「どちらのチャットボットで構築したモデルの方が、精度が高いのか」を検証します。そのために、以下のプロンプトを用いました。possible.和訳:PyTorchで簡単に利用できるCIFAR-10データセットを使用して、画像認識のディープラーニングモデルを作ってください。その際、できるだけ精度の高いモデルを作ってください。Groq(Mixtral8×7B)の出力結果のコードは、以下の通りです。classes[predicted[0]]))上記のコードを動かしたところ、以下のエラーが発生しました。64x10)ChatGPT(GPT-4)の出力結果のコードは、以下の通りです。total))ChatGPTの方は最後まで実行することができ、テストデータでのAccuracyは62%という結果になりました。回答速度については、以下の結果になりました。次に、「取引先との商談の場を設けてもらうための、相手方に送るアポイントのメール」を、日本語で出力させてみます。そのために、以下のプロンプトを用いました。Japanese.和訳:取引先に商談の場を設けてもらうための、アポイントのメールを書いてください。回答は日本語で出力してください。Groq(Mixtral8×7B)の出力結果は、以下の通りです。needed.ChatGPT(GPT-4)の出力結果は、以下の通りです。貴社益々のご発展を心よりお祈り申し上げます。この度は、私どもとのビジネスミーティングの機会を設けていただければと考え、メールを差し上げました。私たちは貴社との関係を大変重視しており、今後のプロジェクトや取引について具体的な話し合いを進めたいと考えております。そこで、ご都合の良い日時をお知らせいただけますでしょうか。私たちとしては、来週の月曜日から金曜日の間で、午前中に会議を設定することを希望しておりますが、貴社のスケジュールを優先いたしますので、ご提案いただける日時がございましたら幸いです。会議の内容としては、以下の点を中心に話し合いたいと考えております。会議はオンラインでの実施を想定しておりますが、貴社のご都合がよければ対面での実施も検討いたします。Teamsなど、貴社が好ましいものをお選びいただければと思います。貴重なお時間をいただき、ありがとうございます。貴社からのご返信を心よりお待ちしております。何かご質問等ございましたら、遠慮なくお問い合わせください。敬具[あなたの名前][あなたの役職][あなたの会社名][連絡先のメールアドレス][連絡先の電話番号]また、回答速度については、以下の結果になりました。最後に、「2000以上のプログラミングに関するブログ記事」を出力させてみます。そのために、以下のプロンプトを用いました。words.和訳:プログラミングの概要を解説するブログ記事を、2000文字以上で書いてください。Groq(Mixtral8×7B)の出力結果は、以下の通りです(4335文字)。path.ChatGPT(GPT-4)の出力結果は、以下の通りです(6453文字)。you.また、回答速度については、以下の結果になりました。Groq(Mixtral8×7B):2秒ChatGPT(GPT-4):87秒2倍速なお、オフラインで高速出力できるAIチャットボットについて詳しく知りたい方は、下記の記事を合わせてご確認ください。RTX】NVIDIA版ChatGPTが無料公開!高速出力かつオフラインで使えるAIチャットボットGroqで高速なテキスト生成を実現しようGroqは、Web上で動作できるテキスト生成AIで、ChatGPTの有料版に比べて25倍も速いです。いえ、品質はChatGPTの方が良いという意見もあるので、きっちりと利用用途を考える必要があると思いました。以下のようなユースケースが考えられるかと思います。速さや省エネを優先する場合:Groq品質を優先する場合:GPT-4など検証結果を見ても、ほとんどのタスクにおいてGroqでは、4秒以内に完了していました。回答速度に関しては、圧倒していると言えるでしょう。精度面を見ると、やはりGPT-4の方が圧倒しているように思えます。87秒ちなみに、あるXユーザーによると、使いどころが限られているが、「LLMで大量の処理をしたい」「GPUに空きがない」という場合に、役に立つかもしれないです。・自社専用のAIチャットボットの開発などの開発実績がございます。「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。生成AIを社内で活用していきたい方へ「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。セミナー内容や料金については、ご相談ください。サービス紹介資料もご用意しておりますので、併せてご確認ください。中田データサイエンス専攻の大学院生。大学では、生成系AIの拡散モデルを用いた音楽生成について研究。趣味は作曲、サッカー、コーヒー。集計期間:1週間まだデータがありません。高いAIプロフェッショナル集団」を目指して私たちは、AIに関わるすべての人に向けて、透明性の高い適切な情報発信と開発を行います。「WEELは、一番地に足ついたAI情報を教えてくれる」と思っていただけるよう、透明性高い事業運営を行なって参ります。透明性の高い適切な情報発信と開発を行います。透明性高い事業運営を行なって参ります。