Not-For-All-Audiences

nsfw

4.0bpw
6.0bpw
8.0bpw

これは、AratakoさんのLightChatAssistant-4x7Bモデルをexl2量子化したものです。
Q4 cacheモードによる、32kのContextSize対応、4.0bpw量子化でVRAM16GBでフルロード可能です。

Downloads last month: -; Downloads are not tracked for this model. How to track

Inference API

Unable to determine this model's library. Check the docs .

Model tree for RioShiina/LightChatAssistant-4x7B-exl2

Base model

Finetuned

(9)

this model