Spaces:
Paused
Paused
Colabratoryで...実行を...
#2
by
OzoneAsai
- opened
Colab用にコピペをしてきたのですが、RAMが足りませんでした。なにか最適化を思いつきませんか？Proにアップグレードするのは遠慮したいのですが...
https://github.com/OzoneAsai/anchat/blob/main/Untitled15.ipynb
ついでに、以下の部分について、max_cpu_memoryという指定はできますか？
model, tokenizer = load_lora_model(
model_path=BASE_MODEL,
lora_weight=LORA_WEIGHTS,
device=device,
num_gpus=1,
max_gpu_memory="16GiB",
load_8bit=False,
cpu_offloading=True,
debug=False,
)