README.md

metadata

base_model:
  - NTQAI/chatntq-ja-7b-v1.0
  - Elizezen/Antler-7B
language:
  - ja
tags:
  - mistral
  - mixtral
  - merge
  - moe
  - not-for-all-audiences
  - nsfw
pipeline_tag: text-generation

4.0bpw
6.0bpw
8.0bpw

これは、Sdff-LtbaさんのLightChatAssistant-TypeB-2x7Bモデルをexl2量子化したものです。
Q4 cacheモードによる、32kのContextSize対応、8.0bpw量子化でVRAM16GBでフルロード可能です。