为什么做机器学习的很少使用假设检验？
假设检验属于Inference。inferential modeling 和predictive modeling是两回事。和learning更差远了。 ML出身容易把predictive modeling和inferential modeling等价，i.e. 最好的predictive model就是最好的inferential model。 可这两真不是一回事。虽然工具上可能有交集，但用法上差别非常大。往往ML方法得出的结论都是错的，比如data-driven会导致严重p-value fishing（i.e. 你总能找到显著项，然而实际上它压根没有用）这个问题叫“可复现性问题”。很多拿ML quant会fail也跟这个愿意有关系。 话说医学上几乎都是小样本。举个例子，医学上每一个采样，可能都来源于病人（比如癌症病人）。那么每一个sample可能就价值5000刀以上，binary data给你50个samples，你ML能给什么样的结论?无非就是把一堆feature丢进去而已？那你哪儿来的数据做validation和test？ 在小样本下做inference得到稳定而保守的结论这就是biostatistics解决的问题。比如overdispersion，怎么得到robust variance，如何解决missing data，如何解决correlated data。如何做defensive analysis。这些都有一整套工具。 建议读读biostat的书。  这题下面有些答案解释不够合理。统计学之所以要求那么多理论就是希望得到严谨的结论，医学数据需要统计就是需要得到严谨的实验结论。machine learning现在被统计抗拒，就是因为很多时候瞎做predictive modeling你没法相信你的结论。 Q：医学都假设数据服从正态分布？ML才是王道? 生物、医学问题往往感兴趣的是某个predictor和response是否有关。然而搞ML的人不知道的是，在estimating equation的理论框架下，我们甚至不需要指定特定的分布形式(比如是否是normal，poisson or binomal)，GLM回归出来的系数都是unbiased. 甚至有heteroskedasticity时候也okay. 很多人更不知道的是，在large sample theory的保证下，我们只需要知道n>50，就可以得到系数的variance的consistent estimate（Huber-White/sandwich/robust variance estimator）。 面对correlated data，只需要first momentum specification正确，就能保证回归的系数无偏。而efficiency of estimators只需要近似地拟合second momentum就有接近BLUE的性能。 做Machine Learning压根不会了解是这些理论才让人有信心拿自己的结论去跟人吹nb。  Q:做统计的不做out of sample test是否合理? 同上，小样本下没法做这事。另外，统计处理小样本时候是要求先了解数据采集过程，了解predictor，同时禁止看数据做data-driven。一次回归直接得到的结论才是最可信的。