如何使用AB测试，提高产品效率？
AB测试是一个简单的对照实验，对用户进行随机测试来比较同一产品的两个版本，最后分析结果，来确定该产品的哪个版本效果最佳。AB测试证明了潜在的变化能够提高效率，数据能够驱动决策，同时还能带来积极影响。
现今的管理者们只有在证据确凿的情况下才愿意做出决定，别忘了，这年头全靠数据。当然，这也是一件好事，因为当今获取信息的方式很多。AB测试是最常见的方法之一（特别是在在线设置中）。那我们如何才能准确地进行这个实验呢?接下来，我会从AB测试的前、中、后期进行一一进行介绍。如果你想了解更多数据分析相关内容，可以阅读以下这些文章：
不可不知的数据科学基础 ——AB Testing
200万人阅读的AB Testing好文
学会了 Tableau 和 R 的这个用法以后，4875个有志之士拿到了FLAG的offer
Sampling 101：详解统计学中的抽样技术
AB测试前
01 选择要测试的变量（variable）
虽然你可能需要测试很多变量，但是，为了能够评估某个被修改的功能，建议你分离出一个自变量(inindependent variable)，并对其性能进行测量，不然，你无法确定到底是哪个变量导致了变化。变量可以是一个新按钮，新布局或者一个新图像。
02 确定测试目标
很可能你会需要测量多个指标，但我还是建议你选择一个主要指标来关注，并把它作为因变量（dependent variable）。同时，你需要思考在桶测试（the Bucket Test）结束后这个变量的结果。甚至你还可以设置一个假设，并根据这个预测检验你的结果。
03 创建对照（Control）和变量（Variation）
有了自变量，因变量（目标或指标）和所需结果，你就可以利用这些信息来设置对照组（control），通常是一个正在使用的产品。如果你要测试的是一个网页，那么对照组就是现在没更改过的网页。接着，还是以网页为例，设置网页的变量。比如一个新的布局，新的图像等…
04 随机划分样本组
对于那些你能更好控制用户的测试，最好是对两个或多个用户进行分类和定位，这样才能获得更有说服力的结果。具体如何操作，取决于AB测试中你使用的技术和软件。有些商业软件可以帮助你完成这些任务，比如，HubSpot会自动分流你的变体，这样，每个变体都会获得一个随机访问者的样本。
05 确定样本容量
确定样本容量也取决于你用到的AB测试工具，以及运行的对比测试（Split Test）类型。
如果你要测试的对象不限数量（比如网络或应用程序），那么测试运行的时间会直接影响到样本容量。所以，你需要让测试运行的时间足够长，才能获取大量数据，否则很难判断“对照”（Control）和“变体”（Variation）之间是否存在明显的统计差异。
06 决定结果的显著性
一旦选择了目标指标（因变量），就要考虑变化的显著要达到多大，才会选择“变体”（Variation），而不是保持“对照”（Control）。变化越剧烈，我们对过程中的科学性要求就越低。而变化越具体(如改变按钮颜色、新图像等)，测试就应该越科学，因为这些变化可能不会对转换率产生显著的影响。
07 单次运行一个测试
同时测试多个事项会让结果复杂化。比如，如果你对一个登陆页面进行AB测试，同时又对一个邮件活动进行对比测试（Split Test），那你怎么能知道是哪个变化导致了潜在用户的增加呢?
AB测试中
08 使用AB测试工具
要想在网页或邮件中做AB测试，你需要用到工具。其中，最受欢迎的两个是HubSpot Enterprise和Google Analytics。
09 同时测试两种变量
当你运行对比测试（Split Test）时，需要同时运行“对照”（Control）和“变体”（Variation），否则你可能会怀疑你的结果。但也有例外，比如在你测试的时候，想找到最佳发送电子邮件的时间，这就不需要同时进行。
10 保证测试时间充足
确保测试的运行时间足够长，才能够获取充足的样本容量。否则很难判断这两个版本是否存在明显统计差异。获得有统计学意义的结果可能需要几小时、几天或几周。而获得这一结果所耗时间，很大程度上取决于有多少流量，或者有用户在使用你的网页或应用。
11 征求真实用户的反馈
AB测试与定量数据之间有很大关系，但这对于理解人们的行为并不会有太大帮助。征求他人意见最好的方法，就是通过投票或民意调查。你可以在自己的网站上添加一个离站调查（exit survey），询问用户为什么没有点击某个行动召唤（call to action），或者在感谢页面上添加一个调查，调查用户为什么会点击某个按钮或填写表格。
AB测试后
12 专注于你的目标指标
虽然你可能会测量多个指标，但是在进行分析时，还是要把重点放在主要的目标指标上。
13 衡量结果的显著性
分析数据，并确定哪个变体的效果更好，“对照”（Control）还是“变量”（Variation）。之后，再评估你的结果有没有统计意义。换句话说，就是它们能够充分证明变体的合理性吗？
14 视结果量力而行
如果一种变量比另一种变量更有统计学优势，那么你就达到了目的。之后，可以在平台中通过禁用丢失变量（losing variation）来完成测试。
如果两种变量都没有在统计上达到很好的效果，你就会明白你测试的变量并不会影响结果，这时，一定要把测试标记为不确定。在这种情况下，坚持测试对照组，或运行其他测试。你可以使用这些失败的数据来帮助你确定新测试中的迭代。
15 计划下一次AB测试
刚刚完成的对比测试（Split Test）可能会帮助你发现一些提升营销内容、网页或应用效率的新方法，但是，不要止步于此，因为你还会有很多提升空间。要留心并把握机会，提高转化率、增加潜在客户。
你需要确保你设置的测试是合理的，也要知道如何去评估测试的结果，这样才能自如运行AB测试，获得出色的结果。
感谢你的阅读！你还可以订阅我们的YouTube频道，观看大量数据科学相关公开课：https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ；在LinkedIn上关注我们，扩展你的人际网络！https://www.linkedin.com/company/dataapplab/
感谢你的阅读！
原文作者：Lazaro Ibanez
翻译作者：Lea
美工编辑：过儿
校对审稿：Jiawei Tong
原文链接：https://lazaroibanez.com/productivity-how-to-conduct-ab-testing-220f82414c67
