新生代工具

自从“数据科学”进入人们视野以来， 它一直被用来形容处理那些一台电脑装不下的大数据。所以，处理大数据的能力被认为是数据科学概念的核心。虽然Mapreduce依然是基础工具，但很多新涌现的有趣工具已经超越了它的基本功能。比如说，Mantel-Haenszel 计量就无法在基本的Mapreduce中运行。Spark和Google Cloud Dataflow正是下一代数据处理体系的代表。本文将结合笔者的第一手经验和调研对两者进行比较。