Which datasets are commonly used to evaluate language model quality (perplexity)?
How is the perplexity of a neural language model computed on test data, take skip-gram for example?
באילו מערכי נתונים משמשים בדרך כלל להערכת איכות מודל השפה (תמיהה)?
כיצד מחושבת התמיהה של מודל שפה עצבית על נתוני מבחן, קחו למשל דילוג-גרם?