4bit

#1
by brooqs - opened

8bit olarak eğitilmesinin özel bir nedeni var mı?

Owner

Selamlar,
Modelleri ben eğitmedim. Ben sadece quantize ettim yani veri çözünürlüğünü düşürdüm.

Neden 8 bit olmasına gelirsek, model cevap kalitesinde neredeyse hiçbir düşüş olmadan yapabileceğin maksimum quantizasyon olması. 4 bit'e kadar quantize edilebiliyor evet (ondan sonrası katastrofik bir düşüşe sebebiyet veriyor.) ama model kalitesinden bir miktar taviz vermek gerekiyor.

Sign up or log in to comment