RunでGemma2を動かす」という内容のセッションがありました。セッションの内容がとても面白かったので、遅ればせながら実際に試してみました。記事の内容は、実際に動かすための手順と少しの解説行っています。GPU上で動かす」です。扱いやすい(&高速に動作する)ため、モデルの量子化も行います。セッションで紹介されたコードの内容は覚えていないため、「あくまで一個人が試してみた」という記事としてご覧ください。DeepMind社がメインで開発しているオープソースモデルです。Gemma2本体は、2024/6/27にリリースされました。Tokyoの会場で当日(2024/10/3)リリースの発表され、大盛り上がりでした。パーリーセッション全体で推されていたGemma2本体の特徴をざっと紹介します。Turboや、最新の700Bモデルに相当まとめると、オープソースかつ、軽量なモデルが特に強いため、どのデバイスでも、どんな言語でも自由に高性能なモデルが使用可能。2の強みの一つのようです。全体の流れ実際に試してみる際の全体の流れは以下です。Cloud上でサービス構築してGemma2を動かす長くなりすぎるて読みづらくなるので2記事に分けてます。今回作る構成図モドキ実際に作ってみる...その前に前準備ざっくり、話したところで、早速進めていき...たいところですが、あれこれ前準備が必要です。GPUが利用可能になるまで、少し時間がかかるためご注意ください。お茶でも飲んでお腹を膨らませて待ちましょう。現在GPUはプレビューであり、利用申請が必要となっています。利用可能になるまで、数日かかります。私の場合は、4日くらいで利用可能となり、個人的に想定していたよりも早くてよろこびでした。Faceからをダウンロードします。Face上で行う必要があります。出てくるので、規約を確認の上、申請してください。概要でも少し触れたように、GGUFで量子化することで、扱いやすい&高速に動作するため、llama.cppを使用してHuggingFace(Safetensors)形式からGGUFファイルに変換します。無料版だと、おそらくメモリーが足りずにちにます。ご自身のパソコンがつよで、ローカルで作業できるならそれでOKです。私の場合は、Gemma2はいくら軽量モデルとはいえ、メモリーがちぬため。(私のパソコンのスペックがウルトラ貧弱という問題)また、今回は、腕によりをかけてGGUFファイルに変換しますが、通常のGemma2であれば、Ollamaに組み込まれているので、モデル名を指定するだけで使用できます。Ollamaのモデルライブラリにいないだけ...)通常のGemma2なら以下のコマンドで万事OKです。2のデプロイはボタン1つで簡単にデプロイできます。Faceからのデプロイもシームレスに対応しています。今回は取り扱いませんが、ぜひ試してみてください。FaceからGemma2(gemma-2-2b-jpn-it)モデルをダウンロードします。環境スペックにもよりますが、私は、5分程度で終わりました。今回は、Colab上からなので、アクセストークンを使用してさくっとモデルダウンロードを行います。SSHキーでの認証となっています。Changes2.llama.cpp準備llama.cppにHuggingFace(Safetensors)形式からGGUFに変換するPythonスクリプトがあるので、何はともあれllama.cppをクローンします。Colabで作業している方は、作業ディレクトリを変えていなければ/contentの直下に/llama.cppのディレクトリが作成されます。GGUFファイルに変換していきます。所望するファイルは、ファイル名からわかる通り「convert_hf_to_gguf.py」です。これで、HuggingFace(Safetensors)形式からGGUFに変換できます。下記コマンドで実行します。/content/gemma-2-2b-jpn-it.ggufこれでデータ量も約1/2かつコンパクトな1ファイルになりました。build時間も、動作時間も快適高速になります。Storageバケットを作成します。Cloudコンソールからでも、どこからでも問題ありません。CLIでの作成コマンドをそっと置いておきます。GPU利用申請と同じ、us-central1にしています。今回はテストのためすぐ消すのでそこまで気にしないでもいいですが、念の為、非公開アクセスかつ、均一アクセスとしています。Storageにアップロード4で用意したバケットに、GGUFファイルをアップロードします。以下のコードのバケット名などは適宜ご自身のものに変更して実行してください。bucket.blob(FILE_NAME)blob.upload_from_filename(FILE_PATH)おわりに長くなるので後半に続きます。千紘が書いた記事xfacebookはてなブックマークpocketお客様のご要望に柔軟に対応いたします。お気軽にご相談ください。cloudpackは、アイレット株式会社が提供するクラウド支援サービスです。問い合わせまでトータルサポート!お問い合わせはこちらアイレットでは、様々な職種で一緒に働ける仲間を募集しています。インフラエンジニア、開発エンジニア、クリエイティブ職、営業職など、様々な職種で一緒に働ける仲間を募集しています。アイレット公式サイト採用情報をご覧ください。採用情報プライバシーポリシークラウド導入のご相談、お見積り、サービスについてのご質問などお気軽にお問い合わせください。最新情報が得られるメルマガ登録はこちら。