webbigdata-ALMA-7B-Ja-V2-gguf

webbigdataさんが公開しているALMA-7B-Ja-V2のggufフォーマット変換版です。

v1のggufの各量子化の評価がwebbigdataさんのblogで公開されています
webbigdata/１．日英・英日機械翻訳モデルALMA-7B-Ja-V2の公開

モデル一覧
mmnga/webbigdata-ALMA-7B-Ja-V2-gguf
mmnga/webbigdata-ALMA-7B-Ja-gguf

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'webbigdata-ALMA-7B-Ja-V2-q4_0.gguf' -n 128 -p 'Translate this from Japanese to English:\nJapanese: 今日の夕食はピザです。\nEnglish:'

引用 Citations

@misc{xu2023paradigm,
      title={A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models}, 
      author={Haoran Xu and Young Jin Kim and Amr Sharaf and Hany Hassan Awadalla},
      year={2023},
      eprint={2309.11674},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}