Kobayashi⛰2024.06.14SafetensorsをGGUFに変換する方法の紹介。SafetensorsのArrowPro-7B-KillerWhaleをggufに変換してOllamaで動かしてみます。ArrowPro-7B-KillerWhaleのgguf版すでにあった。https://huggingface.co/mmnga/ArrowPro-7B-KillerWhale-gguf/tree/main必要なものをインストールgit-lfsとcmakeをインストール。cmakeGGUF化したいモデルをクローン次のコマンドで対象のモデル「https://huggingface.co/DataPilot/ArrowPro-7B-KillerWhale」をクローンします。https://huggingface.co/DataPilot/ArrowPro-7B-KillerWhalellama.cppをクローンllama.cppをクローンします。requirements.txtモデルをGGUFにコンバートllama.cppに含まれるconvert-hf-to-gguf.pyを使用してggufにコンバートします。'ArrowPro-7B-KillerWhale/ggml-model-f16.gguf'ArrowPro-7B-KillerWhale/ggml-model-f16.ggufに作成されました。容量は14.5GBです。q8_0に量子化する量子化するためにllama.cppに含まれる「llama-quantize」を使いたいのでビルドします。q8_0モデルのサイズが14.5GB→7.7GBまで小さくなりました。これより小さくなる量子化方式がありますが、精度悪化が酷くて使い物になりません。q8_0がバランスが良い気がします。コメントをキャンセルメールアドレスが公開されることはありません。名前メールサイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。筆者についてK-Officeという屋号でフリーランスのコーダーをやっています。LPIC-2勉強・復習を兼ねてこのサイトを運営しています。間違いもあると思いますがコッソリと教えてください。