2024-11-01WEELメディア事業部LLMリサーチャーの2scです。2024年10月21日、MetaがLLMの回答速度を約2倍に向上させる技術「LayerSkip」を公開しました。2024このLayerSkipはなんと、部品追加なしで生成速度UPが可能!しかもすでに、LlamaシリーズからLayerSkipに対応したLLMが計7モデルも登場しています。この記事ではそんなLayerSkip対応のLlamaシリーズの使い方や、有効性の検証まで行います。本記事を熟読することで、LayerSkipの凄さを理解し、サクサク動くAIツールが作れるかもしれません。最後までご覧ください。「LayerSkip」はMeta(旧Facebook)が開発した、LLMの回答速度を高める手法になります。そのすごいところとしては下記のとおりです。3.2-1BこのLayerSkipを適用したLLMについては、ベースのモデルと比べて、回答生成の速度が段違いに向上。2024このように、元のモデルの倍近い速度で生成が可能となっています。投機的デコーディング」という2つの技術からなります。そのしくみはいたってシンプル。Decoding)という流れで、迷いのない回答生成が実現しています。Exitで余らせた推論能力を精査に回しているところでしょう。Decodingとは違い、1モデルでの高速推論が実現しています。LayerSkipのライセンス公式ページによるとLayerSkipは「CC-BY-NCライセンス」のもと、無料で私的使用が可能です。参考:https://github.com/facebookresearch/LayerSkip?tab=License-1-ov-fileなお、Metaの最新LLMについて詳しく知りたい方は、下記の記事を合わせてご確認ください。3.2の特徴と実装方法を徹底解説。3.2は、エッジデバイスでも動作可能な軽量モデルや、高度な画像認識をサポートする大規模モデルを提供。Go...LayerSkip対応のLlamaシリーズの使い方HuggingFaceのMeta公式ページでは、LayerSkipに対応したLlamaシリーズ計7モデルが公開中です。ここからは、そんなLayerSkip対応のLlamaシリーズの使い方について、GitHubのREADMEに記載されているやり方をお伝えしていきます。(※2)モデルにアクセスする方法LayerSkip対応のLlamaシリーズについては、以下の手順でアクセスが可能です。https://arxiv.org/abs/2404.16710回答生成の方法ここからは、LayerSkip対応のLlamaシリーズで回答生成を行う方法についてもご紹介します。LayerSkipそして次は、環境周りの設定。下記を実行して、Python3.10の環境に必要なライブラリ一式をインストールします。requirements.txtこれで、LayerSkipを動かすのに必要な下準備は完了しました。今度はお待ちかね、LayerSkipによる回答生成です。–exit_layer思考(層)の深さなお、ここで挙げた使い方については、弊社での検証が済んでおりません。うまく動作しない場合もありますが、ご容赦ください。当記事では、LLMの回答速度を倍増させる手法「LayerSkip」についてご紹介しました。このLayerSkipは結論を手短に出してから精査していくという手法で、迷いのない回答生成が実現しています。LayerSkip対応のLlamaシリーズが7モデルも登場していますので、今後サクサク動くチャットボットが出てくるかもしれません。・自社専用のAIチャットボットの開発などの開発実績がございます。「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。生成AIを社内で活用していきたい方へ「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。セミナー内容や料金については、ご相談ください。サービス紹介資料もご用意しておりますので、併せてご確認ください。大学時代はアリの生態を研究。ラボで唯一、Pythonを使ってデータ分析を効率化していた。現在はライターとして、オウンドメディアや学術記事の執筆に当たっている。集計期間:1週間まだデータがありません。高いAIプロフェッショナル集団」を目指して私たちは、AIに関わるすべての人に向けて、透明性の高い適切な情報発信と開発を行います。「WEELは、一番地に足ついたAI情報を教えてくれる」と思っていただけるよう、透明性高い事業運営を行なって参ります。透明性の高い適切な情報発信と開発を行います。透明性高い事業運営を行なって参ります。