什么是 A/B 测试？
文章来源：公众号-数据万花筒文章链接：数据分析师必会A/B 试验设计及其容易忽略的误区加入每日刷题，提高核心竞争力： A/B 试验是数据分析师较为常用的对比分析方法，数据分析师掌握了A/B 试验，可以解决工作中大部分选择最优方案的问题。这一节将会介绍A/B 试验相关的知识点，包括什么是A/B 试验；为什么需要A/B 试验；A/B 试验的流程以及A/B 试验的常见误区。01 什么是A/B 试验A/B 试验是对比分析方法的一个类型，可以通过控制变量对比统一APP不同版本的打开率、或者对比相同网页不同颜色的按钮的点击率。从本质上来讲，A/B 试验属于试验范畴，通过对用户进行随机分组，根据单一变量的原则为每一组用户分配一个实验方案，在相同的时间维度观察用户的反应已确定最佳方案。以网页皮肤优化为例，原方案A中网页颜色为绿色，调整后的方案B网页颜色为黄色，如图1所示。为了确定用户对网页颜色的偏好，数据分析师设计了A/B 试验实验，将特征相似的用户随机分成A、B两组让其分别进入不同颜色的网页当中，观察两组用户的网页点击率。最终结果显示，A组网页点击率为39.13%，而B组只有36.86%，那是否可以直接判定用户更喜爱绿色的网页呢？这个问题留给大家思考，后面会具体说明。 02 A/B试验能解决什么问题A/B 试验之所以能在数据分析领域广泛应用，是因为它能够解决大多数关于“选择”的问题，通过A/B 试验选择出来的方案大部分情况下会使得投入产出比最大化。总之一句话，A/B 试验可以辅助业务方选出最优方案并且在现有流量中获得更高的投入产出比。1.评估方案优劣，选择最优方案A/B 试验实验的主要目的之一是判断两个方案哪个更好，以辅助运营选择最优方案，到达最好的效果。以网页皮肤选择为例，通过A/B 试验实验确定用户对皮肤的偏好，以提升用户点击率，降低用户跳出率。2.计算ROI从现有流量中获得更高的投入产出比通过A/B 试验选择最优方案的终极目的还是提升收益，量化收益，计算投入产出比(ROI)也是数据分析师需要掌握的技能。对于不同的方案而言，成本都是可以直接计算出来的；而对于收益来说，则需要计算实验组与对照组收益的差值来计算。假设以总日活跃天(即DAU按日累计求和)作为收益指标, 需要假设不做运营活动, DAU会是多少, 可以通过对照组进行计算, 即:日活跃天(实验组假设不做活动) = 对照组日活跃天 * (实验组流量 / 对照组流量)收益(实验组) = 日活跃天(实验组做活动) - 日活跃天(实验组假设不做活动)03 A/B 试验全流程拆解知道了什么是A/B 试验及其作用，一起来学习下做A/B 试验的完整流程。以用户对网页皮肤的偏好选择为例进行说明，A/B 试验的实施流程可以归纳为以下七个步骤，如图2所示。 1.设定指标确定比较指标是在进行A/B 试验的第一步，选取哪些指标进行对比需要根据测试的目的来决定。A/B 试验中的指标可以分为三大类，分别是核心指标、辅助指标和反向指标，在进行A/B 试验时建议同时选择三类指标作为试验指标。通过A/B 试验确定用户对网页皮肤的偏好就可以选择点击率作为比较的核心指标。为了排除同一个用户进行多次点击而造成的统计偏差，这里将点击率的统计口径定为去重的点击人数与去重的页面访问人数的比值。除了核心指标之外，也需要一些辅助指标和反向指标。辅助指标的确定可以根据用户行为漏斗进行设定；也可以选择重要的下游指标，例如，平均点击次数、下单成功率、复购率等；反向指标是可能对产品产生负面影响的指标，例如，回跳率、退货率、回撤率、应用删除率等。2.创建变量选定指标之后，就需要进行变量的创建，即对网页的元素进行更改，将之前绿色的皮肤改为黄色皮肤。这部分工作由前后端配合完成。3.生成假设有了变量之后，可以基于经验对试验结果作出假设。例如，可以假设用户更喜欢改版后的网页。4.确定分流（抽样）方案如何分配流量、分配多少流量涉及到A/B 试验的成败，尽量选择同质性较高的用户，也就是各个维度特征较为相似的用户进行测试，同时需要确定分流比例和其他分分流细节。国内外很多的开源网站都提供了A/B 试验样本量计算器，evanmiller是其中一种。如图3所示，只需输入目前大盘基准值、预期试验提升效果、置信度以及功效等参数，即可计算出试验所需的样本值。目前大盘的基准值为41.68%，预期能够提升的比率为0.2%，如果估计不准，为了保证实验能够得到结果，此处可低估，不可高估，也就是0.2%是预期能够提升的最小值。在95%的置信度，80%的功效下每一组所需的最小样本量为95.4138万。 如果预期的指标是均值相关的指标，例如人均时长、人均付费等指标，估算样本量可能就会稍微复杂，这时候需要运用T检验反算样本量，但同样可以使用各类开源的网页工具进行计算，这里不再赘述，只将常用A/B 试验工具进行列举，如图4所示，以便读者比较和使用。 后续内容请移步-数据万花筒 后续内容目录：5.确定测试时长6.收集数据7.分析数据04 A/B 试验常见误区1.忽略统计学意义2.忽略新奇效应对于试验的影响3.以偏概全-实验周期没有覆盖产品高低频用户4.随意切割试验流量比例而造成辛普森悖论具体内容，请参考下方链接 坚持在公众号数据万花筒写作两年，我的第一本书《数据分析之道——用数据思维指导业务实战》正式出版啦！ 全书数据代码领取！ 本书以数据分析思维为主题，主要介绍对比思维、分群思维以及相关思维三大数据分析思维，同事以数据分析全流程为主线，融合了编程语言、统计学基础以及案例分析等多模块内容，全书分为4篇，囊括了数据分析思维的基础概念培养方法、数据来源及体系建设、数据分析三大思维方式以及用户流失、用户转化实战等共十一章的内容。 全书都是彩印，放上两张图让给大家瞅瞅。 市面上大部分数据分析相关的书籍都是从工具的介绍开始的，但很多时候数据分析主要依靠数据思维。特别是面对复杂业务场景时，对于业务的熟悉程度及数据思维显得尤为重要。因为数据思维决定了分析问题的角度及合理性，只要数据分析师能够针对特定问题提出分析方案，无论用什么工具都可以得到结果，因此数据思维是数据分析师成长进阶路上的必修课。而市面上关于数据思维的书籍较少且部分书籍讲授的知识点较浅，能够将数据思维、编程语言、统计学思想及案例分析等融为一体的书籍少之又少，强烈给大家推荐这本以数据分析全流程为主线的数据思维的书——《数据分析之道——用数据思维指导业务实战》。附上全书的目录，本书围绕数据思维展开，一共11章内容。 