商业分析师面试,如何准备AB Testing

商业分析师面试,如何准备AB Testing

今天我们一起学习一个内容:AB Test。AB Test现在和数据工程师、数据科学家、商业分析师这些使用数据的岗位越来越相关。在实践和面试中,AB Test也是一个非常重要的环节。如果你想了解更多关于商业分析的相关内容,可以阅读以下这些文章:
商业分析师如何通过AB测试提高用户参与度及转化率?
如何转行Business Analyst 商业分析师?
新兴报表工具FineReport——商业分析师需要知道的三种报表
数据大浪潮你跟上了吗:如何转行Business Analyst 商业分析师?

什么是AB Test?

比如设计一个实验,选择一些用户,把两组随机选择的用户放在不同的用户界面来测试,或者有一个新的算法,一组用原来的用户界面/算法,另外一组用新的,去看他们之间的变化,这样可以去比较出这两组的效果,反馈给产品经理。

为什么要用AB Test?

AB Test在很多商业应用里都是和用户界面以及用户体验紧密的结合在一起,很多时候在一个复杂的web应用或者手机应用里,我们希望提升ROI,在这个过程中会想很多的办法,但提升ROI的同时,也会带来一些风险(比如用户体验变差)

用户界面更是这样,我们不能保证做出的改变百分之百的会造成提升,这时候可以做一个AB Test,会有效地降低风险和不必要的花费。

AB Test主要可以用在什么地方呢?

如图,这些都是我们经常会用到AB Test的地方。

一个硬币有两面,所以会有一个不能用AB Test的地方。

  • 1. AB两组无法进行清晰的比较,就无法用AB Test的方法。
  • 2. 实验时间太长的不能用AB Test,时间应该在两周以内。
  • 3. 实验数据太难收集的不能用AB Test。
  • 4. Response时间太长也不能用AB Test。

比如10周的商业分析师训练营,如果做一些改变,新的方式会使教学质量有提升,但很多同学经过10周的学习后,再经过改简历等几个月,才能看到结果,或者明年毕业的学生上培训班,反应时间太长不适合A/B Test。

下面看一下几个题目,哪些可以用A/B Test。

  • A. 线上培训,比如10周的商业分析师课程和16周的数据科学家课程都不适合,反应时间太长。
  • B. 可以,能够看出来电子邮件效果。
  • C. 可以。
    • D. 不可以。
    • E. 不可以,可以组织A/B Test测试算法,但是时间周期较长。
  • F. 可以,推荐完后可以查看点击率。
  • G. 不可以。
  • 测试下来就知道哪些情况下可以使用A/B Test,哪些不可以。

还有一种Test是A/A Test,它和A/B Test有什么区别呢?A/A Test测试相同,A/B Test测试不同。比如测试一个登陆页面的按钮,修改按钮颜色是否可以提升按钮的点击率,这需要一定的环境,做A/B Test时通常需要保持DAU(日活跃用户数量)不变,如果一个页面访问量特别大,访问量突然间变小,这种情况下做的测试是不合理的。因为外围参数不一样,需要设计A/A Test,确保A/B Test的准确性。

除了A/A Test,A/B Test的另外一个前提是统计知识,特别是假设检验,它验证一件事的统计显著性。比如想要验证星巴克的大杯咖啡应该装多少,是否合适,需要定义原假设,去10家咖啡店每家买10杯咖啡进行采样,100杯咖啡平均量是200ml。这时假设检验就会得出那些结论是可能发生的,哪些是不可能发生的。根据置信水平看观测值在整个统计分析的区域,判断是大概率还是小概率发生事件,选择拒绝还是接受原假设。A/B Test会更复杂一些,它是两组实验组。

A/B Test的过程:

  1. 回顾商业过程/漏斗
  2. 确定改进流程
  3. 定义衡量指标
  4. 设计假设
  5. 设计实验
  6. 创建变量
  7. 运行实验
  8. 分析结果
  9. 提出建议

举个例子,比如现在有一个Netflix的用户,要点击“sign up”的button,那么我们就把这个button做一些修改比如颜色或者文字,然后看一下会产生什么变化。这就是前面说的转换漏斗。

当然这里面也有很多分析可以去选的metrics(如下图),比如说访问量,转换率,提升用户体验,商业方面增加利润,广告方面提升点击率等都是常见的metrics。

这些metrics很多,它是根据你定义的商业目标去选择,要选择一个和商业目标最近的metric。

Evaluation Metric就是要评估好和坏的,是和AB Test最相关的。

整个前面的分析是商业分析师要做的工作,下面就是一个设计的过程。设计的过程如下:

  • Step 1: Define business goals and form hypotheses.
  • Step 2: Identify treatment & control.
  • Step 3: Identify KPIs to measure.
  • Step 4: Split your sample groups equally and randomly.
  • Step 5: Determine how small of a difference needs to be detected and decide how significant your results need to be.
  • Step 6: Determine the sample size and how long to run the experiment.
  • Step 7: Running the Variations.
  • Step 8: Analyze Data.

最后给大家分享一些AB Test常见的面试题目。

谢你的阅读!你还可以订阅我们的YouTube频道,观看大量大数据行业相关公开课:https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ;在LinkedIn上关注我们,扩展你的人际网络!https://www.linkedin.com/company/dataapplab/

Recap 作者:数据应用学院
美工编辑:过儿
校对审稿:Miya
公开课回放链接:https://www.youtube.com/watch?v=mLIQhQJV2Uk&t=2s