看到有人中奖,不代表他特别幸运.这篇文章将从乐透彩的几率计算出发,和你分享什么是多重检定问题,他到底跟乐透,A/B Testing,或者探索性资料分析有什么关联,并且介绍用来解决多重检定问题的 Bonferroni 校正.
这篇笔记会教学比例资料的 A/B Testing 究竟该用什么统计检定,我将会介绍 Z 检定与卡方检定之间的关联,以及什么情况下这两者都可以使用.我也分享了 R 语言程式码,帮助你学会如何算出 Z 检定与卡方检定的 P-value.
专门提供商业实验的 Optimizely 研发 New Stats Enigine 来加速实验流程,又能维持决策准确率.本文将介绍几率理论相似,但是更简单的方法:Sequential A/B Testing,它不止允许偷看数据,需要的样本数比标准假设检定还少,检验甚至只需要加减法!
乍看之下,只要通过统计显著性的检验,就应该是有科学方法的严谨决策.然而,A/B Testing 最常见的问题之一,是在实验样本搜集完整之前"偷看结果".偷看结果最严重的下场,会让你手中看似有统计显著性的决策,20% 以上是错误的.这篇笔记将说明为何会有此问题,以及如何避免.