奥巴马也在用的A/B Test，你学会了吗？

最近有数据应用学院的同学反应，面试经常被问到A/B test的问题，今天就带大家go over一遍A/B test的相关知识。

其实A/B test并不是什么新技术，它就是一个穿着马甲的对照实验。比如说，你想提升一下你个人的魅力，提高你受欢迎的程度。你有一个大胆的想法，平时都是穿T恤的，换成马甲是不是会好一些呢？这时候你就可以设计一个A/B test啦。

在同一个地点，同样的天气状况下，分别穿T恤和马甲拍一张照片，同时发到朋友圈。一天之后，你穿T恤的照片获得了35个赞，穿马甲的照片获得了53个赞，那就可以说明，穿马甲更受欢迎。

首先，用户心，海底针。只有通过试验来测试用户的行为，才能得到最准确的答案。其次，A/B test的成本比付费流量的成本要低的多。而且，如果使用付费流量，比如在Facebook或者LinkedIn等平台上发放广告来吸引流量，流量的确可以提升，然而我们的目标往往不是提升流量，我们的目标是创造利润，让别人购买我们的商品。要想提高用户转化率，A/B test更划算。就像下图所表示的一样，付费流量最终可能舍得了孩子，还套不着狼，治标不治本。

当然，如果不差钱的话，A/B test 和付费流量双管齐下是更好的🙂。

A/B test的使用场合可以说非常广泛了，比如登录页的设计，按钮位置，文字的内容，字体大小，甚至比较不同搜索算法的好坏等等。

下面就来见识一个A/B test的著名案例。

奥巴马的团队曾经发起了一个活动，上图是他们这个活动的网站。为了让更多的人sign up，他们的团队针对图中的 media 和按钮设计了一个 A/B test，如下图：

按钮有四种选择，media 有6种选择，前三种 media 是图片，后三种 media 是视频。各位看官不妨猜一下，哪一种组合有最好的效果呢？

答案是，learn more和family image 的组合是最受欢迎的，所有的视频格式的media都不如图片受欢迎。你猜对了么？😏

基于这20%的提升，奥巴马团队额外获得了三百万的支持者。假设每个支持者提供20美元的支持，奥巴马就直接得到了六千万的竞选资金，这对他的竞选来说无疑是雪中送炭，锦上添花的。

就拿我们数据应用学院自己来举个例子吧。

我们的目标其实非常直白，就是让各位看官购买我们的各种良心课程，从而实现双赢。目前来说，这个过程一共有这么几步：

–       通过看公开课或者其他途径知道我们

–       因为好奇打开了我们数据应用学院官网

–       因为好奇点开了我们商业分析师课程

–       细看之后觉得货真价实点击在线付款

–       一鼓作气完成交易

很明显，让各位看官从看课到付钱，转化率是最低的。毕竟，其余几步行为的成本就只是些隐性的时间成本，付钱这一步是赤裸裸的显性金钱成本。那么，站在我们的角度，应该如何提高总转化率呢？这就可以提出很多方法，然后进行A/B test，在这些选择之中选择一个，比如付款按钮变成”付款立减300”，付款按钮变成浮动的，或者实现一键付款等等。

比如说我们现在已经做了一个A/B test，得到了上图的结果，我们是否可以直接使用方案B呢？不能。原因很简单，我们不能确定两个结果的差值是由于方案的好坏还是实验的偶然误差产生的。如何解决这个问题呢？这就涉及到统计假设的问题了。

根据统计学的知识，绘出如上图的正态分布曲线。假设两个实验方案之间没有显著性差异，那么根据上图的计算，两者转化率的差别应该落在图中蓝色区域里。我们这个例子中，d=12%-10%=0.02，的确落在蓝色区域中，所以说明两者的差别是由于实验偶然误差造成的。

那么，我们就不能使用方案B了么？其实也不一定。这时候可以选择增大样本数量，如果样本数量是原来10倍的情况下，还能保持2%的转化率差异，这时候通过计算就可以说明，这不是偶然，当机立断，使用方案B！

以上就是A/B test的大致流程了，相信大家已经有了初步的了解，小编会在后续的文章中给大家进一步介绍。