机器学习与人工智能：2017年的主要趋势

机器学习与人工智能：2017年的主要趋势

我们最近向大数据、数据科学、人工智能和机器学习领域的一些领先专家询问了他们对2016年最重要的发展和2017年的主要趋势的看法。

      Yaser Abu-Mostafa   加州理工学院

2016年和2017年是机器学习的一个令人兴奋的时刻。有两个趋势正在加速生成。首先，很多展示表现出ML是一个非常强大的技术。 AlphaGo最近的成功和inhuman encryption是令人信服的例子。第二，ML应用范围的扩展。更复杂的任务、更多的域、更多对ML的接纳是无处不在地利用数据的方式。 Google / Microsoft / Facebook / IBM AI合作伙伴关系是有原因的。
 

      Xavier Amatriain  Quora副总裁

2016年可能很好地在历史上作为“机器学习炒作”的一年。每个人现在似乎都在做机器学习，如果不是，那么他们正在想着买一个创业公司然后声称他们在做。
现在，为了公平起见，有许多“炒作”的原因。你能否相信自Google宣布开放采购Tensor Flow至今仅有一年？ TF已经是一个非常活跃的项目，被广泛应用于从药物发现到音乐生产。 Google并不是唯一一家开放采购他们的ML软件的公司，很多人跟随他们。微软开源CNTK、百度宣布推出PaddlePaddle，而亚马逊刚刚宣布，他们将在其新的AWS ML平台上推回MXNet。另一方面，Facebook正支持的不是一个、而是两个深度学习框架的发展：火炬和Caffe。而另一方面，谷歌也支持非常成功的Keras，所以竞争之类至少也是在Facebook和谷歌之间。
除了“炒作”和公司向机器学习开源项目的支持外，2016年还展现了机器学习的大量应用，这在几个月前几乎难以想象。我印象特别深刻的是Wavenet的音频生成质量。我过去曾经处理过类似的问题，所以我十分欣赏这些成果。我也将强调一些最近的唇语阅读的成果——它或将在不久的将来成为非常有用的（也许是可怕的）视频识别的一个伟大应用。我还应该提到谷歌在机器翻译方面取得的显着进步。看看这个领域在过去一年改善了多少，这真的很惊人。
事实上，机器翻译不是我们在过去一年在机器学习语言技术方面见到的唯一的有趣的进步。我认为一些最近出现的结合深层顺序网络和边信息以产生更丰富的语言模型的研究也是非常有趣的。在“神经知识语言模型”中，Bengio的团队将知识图与RNN相结合，在“大规模NLP任务中的语境LSTM模型”（Contextual LSTM models for Large scale NLP tasks）中，DeepMind的人将主题纳入LSTM模型。我们还看到了许多注意力建模和语言模型的记忆这些有趣的研究。作为一个例子，我建议阅读一下在今年的ICML中提出“向我问任何事：NLP的动态内存网络”（Ask Me Anything：Dynamic Memory Networks for NLP)。
没有提到我的主要专业领域的进步的话，我是无法完成对2016一整年的回顾的：推荐系统 (Recommender System)。当然，深度学习也影响了这一领域。虽然我仍然不推荐DL作为推荐系统的默认方法，但看到它是如何通过向YouTube这样被大规模实际使用的，也是很有趣的 。也就是说，在该领域有一些有趣的研究与深度学习无关。今年ACM Recsys的最佳论文奖是“本地项目项目模型为前N个推荐”，这是一个使用最初的无监督聚类步骤对稀疏线性方法（即SLIM）的一个有趣的扩展。此外，“用于CTR预测的现场感知因子分解机器”描述了Criteo CTR预测Kaggle挑战的获胜方法，这是一个关于分解机器在您的ML工具包中仍然是一个很好的工具的提醒。
我可能再用几页只是列出在过去12个月机器学习的影响力进步。请注意，我甚至没有列出任何与图像识别或深加强学习相关的突破，或明显的应用程序如自驾车或游戏，而这在2016年取得了巨大的进步。更不要说所有围绕机器学习如何对社会具有或可能有负面影响的争议了，以及围绕算法偏差和公平的讨论的兴起。
那么，我们对2017年该有怎样的期待 呢？这很难说，这个领域里的变化实在太快了。我很确定就仅是消化在即将到来的NIPS会议上看到的东西，我们也会度过一段困难的时期。我非常期待机器学习我最关心的领域中的进步：个性化/建议和自然语言处理。例如，我相信在未来数月，我们会看到如何处理假新闻的问题。但是，当然我也希望看到更多的自驾驶汽车在道路上行驶，以及机器学习被好好用于健康相关的应用程序、或是创造一个更加知情和更公正的社会。

Yoshua Bengio  加拿大蒙特利尔大学计算机科学与运营研究系教授

从我的角度来看，2016年的主要事件是深加强学习（deep reinforcement learning），生成模型和神经机器翻译领域。首先我们有AlphaGo（DeepMind的网络，使用deep RL击败围棋世界冠军）。在一整年中，我们已经看到了一系列论文，显示生成式对抗网络（用于生成模型的无监督学习）的成功。同样在无监督学习领域，我们看到了自相关神经网络的意想不到的成功（像DeepMind的WaveNet论文）。最后，大约一个月前，我们已经看到神经机器翻译的冠军（这是我的实验室从2014年开始部署的），Google将这项技术应用到Google翻译的规模，并获得了非常惊人的结果（非常显着地，水平性能）。
我相信这些都是2017年预期进展的良好指标：无人监督学习的进步（这仍然是一个重大挑战，我们在这方面离人类能力差距颇大），以及计算机理解和产生自然语言的能力，可能首先与chatbots和其他对话系统。另一个可能的趋势是在医疗领域中对包括医学图像，临床数据，基因组数据等的各种类型的数据应用深度学习的研究和结果的上涨。随着我们看到更多应用，计算机视觉的进展将继续，当然也包括自动驾驶汽车，但我感觉，现在的社会低估了达到真正的自动之前我们所要面临的挑战。

  Pedro Domingos UW的计算机科学教授      

 The Master Algorithm作者

2016年的主要事件是AlphaGo的胜利。而我们在2017年可能看到的实质性进展在于两个领域：chatbots和自动驾驶汽车，这仅是因为如此多的大公司正在大量投资。在更根本的方面，我们可能会看到的发展是增加深度学习与其他ML / AI技术的结合，这是典型的成熟的技术。

Oren Etzioni   Allen人工智能研究所CEO

AlphaGo的巨大成功是一个令人兴奋的2016年的冠军成就。在2017年，我们将看到更多在神经网络方面的增强学习、更多神经网络在NLP和视觉方面的研究。然而，所面临的有限标记数据的神经网络的挑战，例如语义学者的系统，仍然是巨大的，并将困扰我们多年。这些仍然是早期的深度学习和更广泛的机器学习。 

Ajit Jaokar

2017年将是物联网和人工智能的重要一年。根据我最近的KDnuggets帖子，AI将是企业的核心竞争力。对于物联网，这意味着能够跨平台（云，边缘，流媒体）构建和部署模型。这将持续学习与通过AI持续改进的愿景联系起来。它还需要作为AI和devops整合的新的能力。

尼尔劳伦斯  谢菲尔德大学机器学习教授

我认为事情进展很大，正如我们现在所预期的那样。深度学习方法被智能地部署在非常大的数据集上。对于较小的数据集，我认为我们将看到一些有趣的模型重用方向，即重新使用预训练的深度学习模型。关于如何最好地达到这个目的，有一些非常有趣的开放性问题。另一个趋势是新闻界对该领域的关注不断增加。包括关于Arxiv上尚未审核的论文的主流文章。这种对进步的渴望也出现在去年，但我认为今年我们已经看到它加速。作为回应，我认为学术界应该更加注意如何选择推广他们的工作（例如在社交媒体上），特别是在未经审查的时候。

 Randal Olson   宾夕法尼亚大学生物医学信息学研究所高级数据科学家

自动化机器学习（AutoML）系统于2016年开始与人类机器学习专家竞争。今年早些时候，MIT集团创建了一个数据科学机器，在受欢迎的KDD Cup和IJCAI机器学习竞赛中击败了数百个团队。就在这个月，我们内部的AutoML系统TPOT，在几个Kaggle比赛开始排名第90百分位。不用说，我相信AutoML系统将在2017年开始替代人类专家进行标准机器学习分析。

Charles Martin  数据科学家和机器学习专家

2016年一直是深度学习的分水岭。我们已经有了一年的谷歌Tensorflow，应用程序不断涌入。结合来讲，例如Keras、Jupyter Notebooks和启用GPU的AWS节点，数据科学团队有基础设施按需开始构建真正创新的学习应用程序，并开始快速产生收入。但他们可能没有天赋？它不是关于编码；它不是一个基础设施的手段；它与传统分析非常不同，没有人真正理解为什么深度学习有效。不过，让我们面对它，毕竟这是所有的谷歌和Facebook在谈论的！并且C-suite还在听。在2017年，公司将寻求于内部提供最佳的深度学习技术，以提高底线。 

 Matthew Mayo KDnuggets副主编

2016年的大故事必须是我们从深度学习中看到的加速回报。 （不仅仅）基于Go对神经网络的“征服” 可能是最突出的例子，但还有其他。展望2017年，我期望神经网络的持续发展仍将是一个大事件。然而，自动化机器学习将自然成为一个重要的事件。也许不像对外行而言也同样性感的深度神经网络，自动化机器学习将开始在ML、AI和数据科学中产生深远的影响，2017年可能成为这一变化显著的一年。 

Brandon Rohrer   Facebook的数据科学家

在2016年，机器比人类更准确地阅读唇语（arxiv.org/pdf/1611.05358.pdf），从比人类更快地做听写（arxiv.org/abs/1608.07323）和创造真实现实的人类语音（arxiv.org/pdf/1609.03499 .pdf）。这些是探索新颖的架构和算法的结果。卷积神经网络正在被超出识别地修改，并结合了强化学习者和时间感知的方法，以开辟新的应用领域。在2017年，我预计会有更多的人类水平基准下降，特别是那些基于视觉的、因此而适于那些CNN。我也期待（和希望！）我们的社区进入附近的决策领域，非视觉特征创建和时间感知方法将变得更加频繁和富有成果。这些使得智能机器人成为可能。如果我们真的很幸运的话，2017将带给我们一台可以击败人类做一杯咖啡的机器。 

 Daniel Tunkelang  数据科学家

2016年最大的新闻是AlphaGo击败了Lee Sedol，人类世界围棋冠军。即使对AI社区而言这也是一个惊喜，它将作为深度学习的兴起的临界点而被铭记。 2016年是深度学习和AI的一年。 Chatbots，自动驾驶汽车和计算机辅助诊断已经解锁了我们可以做什么的可能性，而这是通过在合适的训练数据扔足够的GPU来达成的。 2017将给我们带来成功和幻灭。像TensorFlow这样的技术将商品化深度学习，AI将是我们在消费产品中理所当然的东西。但我们将打破我们可以建模和优化的极限。我们必须面对数据中的偏差。我们将长大，意识到我们完全没有接近一般的AI或奇异性。 
作者：Matthew Mayo翻译：珺妹妹

March 11, 2017 | Blog | Tags: , , , , ,
Previous

21世纪最性感的工作——成为数据科学家的三种途径
Next

数据科学家告诉你如何找到自己喜欢的职业