I would like to use a pretrained transformer with 8 billion parameters. What is the minimum amount of VRAM I would need to do so? Are there any ways I can minimize my memory footprint?
ฉันต้องการใช้หม้อแปลงที่ผ่านการฝึกอบรมซึ่งมีพารามิเตอร์ถึง 8 พันล้านพารามิเตอร์ จำนวน VRAM ขั้นต่ำที่ฉันต้องทำคือเท่าใด มีวิธีใดบ้างที่ฉันสามารถย่อขนาดหน่วยความจำของฉันให้เหลือน้อยที่สุด?
spam lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor creativity violence