What is this?

Axcxepr（アクセプト）社のHODACHI氏によるLlama-3.1の日本語ファインチューニングモデルLlama-3.1-70B-EZO-1.1-itをGGUFフォーマットに変換したものです。
llama.cppのLlama3.1の特殊なRoPE Embedding対応アップデート（#8676）を反映しています。

imatrix dataset

日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。
なお、計算リソースの関係上imatrixの算出においてはQ8_0量子化モデルを使用しました。

Chat template

<|start_header_id|>system<|end_header_id|>\n\nここにsystemプロンプトを書きます<|eot_id|><|start_header_id|>user<|end_header_id|>\n\nここにMessageを書きます<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n

Environment

Windows版llama.cpp-b3472および同時リリースのconvert_hf_to_gguf.pyを使用して量子化作業を実施しました。

License

llama3.1 License

Developer

Meta & Axcxept co., ltd

Credit

This project utilizes HODACHI/Llama-3.1-70B-EZO-1.1-it, a model based on Llama 3.1 and fine-tuned by Axcxept co., ltd.

Built with Llama