<jupyter_start><jupyter_text>Загрузим данные.<jupyter_code>data = pd.read_csv("vowel-context.data", sep=" ", header=None)
data = data[7].values
print data.shape[0], "- размер выборки"<jupyter_output>990 - размер выборки<jupyter_text>Построим гистограмму и QQ-plot.<jupyter_code>plt.figure(figsize=(15, 5))
plt.subplot(121)
_ = plt.hist(data, bins=15)
plt.subplot(122)
_ = scipy.stats.probplot(data, plot=plt, dist="norm")<jupyter_output><empty_output><jupyter_text>Гистограмма похожа на гистограмму нормального распределения и на qq-plot видим лишь небольшие отклонения на краях, поэтому проверим гипотезу о нормальности распределения, ожидая высокий p-value. Воспользуемся критерием Шапиро-Уилка проверки гипотезы о нормальности распределения.<jupyter_code>W, p_value = sps.shapiro(data)
print "statistic W={}, p-value={}".format(W, p_value)<jupyter_output>statistic W=0.997102916241, p-value=0.070861928165<jupyter_text>Итак, p-value > 0.07 - не отклоняем гипотезу на уровне значимости 0.07. Т.о. можем считать, что выборка из нормального распределения, осталось определить параметры распределения. Для этого достаточно посчитать среднее и стандартное отклонение.<jupyter_code>mean = data.mean()
std = data.std()
print "Среднее: {}, стандартное отклонение: {}".format(mean, std)<jupyter_output>Среднее: -0.305657575758, стандартное отклонение: 0.664266518039<jupyter_text>Для пущей уверенности проверим гипотезу о том, что выборка из нормального распределения с вычисленными параметрами. Для этого воспользуемся критерием Колмогорова-Смирнова.<jupyter_code>print(sps.kstest(data, "norm", (mean, std)))

ecdf = ECDF(data)
grid = np.linspace(-3, 3, 500)

plt.figure(figsize=(7, 3))
plt.plot(grid, ecdf(grid), color='red', label='ecdf')
plt.plot(grid, sps.norm.cdf(grid, mean, std), color='blue', label='cdf')
plt.legend()
plt.show()<jupyter_output>KstestResult(statistic=0.027219861607373219, pvalue=0.45296660263978694)
{'fraction_non_alphanumeric': 0.1265625, 'fraction_numerical': 0.06145833333333333, 'mean_word_length': 7.5377777777777775, 'pattern_counts': {'":': 0, '<': 17, '<?xml version=': 0, '>': 18, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '5', 'dir': 'jupyter-structured-clean-dedup', 'id': '347105', 'license': 'MIT', 'n_tokens_mistral': 883, 'n_tokens_neox': 900, 'n_words': 149, 'path': '03_test_statistics/8.3.3.ipynb', 'repo_name': 'ilivans/mipt-math-stats', 'size': '1920'}