asiansoul

/

llama-3-Korean-Bllossom-120B-GGUF

like 0

안녕하세요 일단 좋은 모델을 이렇게 허깅페이스에 올려주셔서 너무 감사드립니다.
다름이 아니라, 밑에 처럼 모델을 다운로드 하고, part 3개를 병합까지 해서 'models_120b' 디렉토리 안에 'llama-3-korean-bllossom-120b-Q4_K_M.gguf' 파일을 만들었는데요.

huggingface-cli download asiansoul/llama-3-Korean-Bllossom-120B-GGUF --local-dir='./'

cat part_* > llama-3-korean-bllossom-120b-Q4_K_M.gguf

이후에, 밑에 처럼 모델을 불러오는데, 에러가 떠서요. 어떻게 해야하는지 알려주시면 감사하겠습니다 ㅠㅠ
model = AutoModel.from_pretrained(
'models_120b',
device_map ='auto',
torch_dtype = torch.bfloat16,
trust_remote_code=True,
use_cache=False,
attn_implementation="flash_attention_2"
)