三个月如何搞定机器学习的数学原理?

三个月如何搞定机器学习的数学原理?

在这篇文章中,我将分享一个为期3个月的学习机器学习中数学原理的计划。

众所周知,几乎所有机器学习算法都在使用线性代数(Linear Algebra),微积分,概率和统计等概念。而一些先进的算法和技术还会用到测度论(Measure Theory — 概率论的超集)凸优化(Convex Optimization)非凸优化(Non-Convex Optimization),等等。想要理解机器学习算法,并在机器学习及其相关领域进行研究工作,必须具备相关的数学知识。

我在本文中分享的计划,可用作准备数据科学面试、加强数学概念、或作为机器学习研究的开始。这个计划不仅有助你对机器学习的直观理解,而且还可以用于许多其他高阶领域,如统计信号处理,计算电动力学等等。

执行这个计划后,我斩获了Microsoft的数据科学家实习面试,并收到了Microsoft的2021年的全职offer。除了本篇内容之外,你也应该去学习了解顶级会议/期刊上发表的论文,虽然你可能会在一开始感到有点困难,但是它能帮助你开始你的研究生涯。

本计划主要分为四个部分●

  1. 线性代数(Linear Algebra)
  2. 概率论(Probability Theory)
  3. 多变量微积分(Multivariable Calculus)
  4. 多元统计(Multivariate Statistics)

●线性代数(Linear Algebra)●

线性代数是机器学习和深度学习中最重要的概念之一。现在能找到的最佳线性代数的课程是Gilbert Strang博士在MIT OCW上发表的35节课。对于一个初学者来说,该课程最多可能需要花费一个月的时间。

由于大多数从事机器学习相关的人员都多少了解关于线性代数和矩阵的入门知识,所以他们应该能在2小时内完成一堂课。除了上课外,还应尝试完成课堂给出的作业和考试,来进行适当的练习。本课程中最重要的技能是可视化多维向量(Multidimensional Vectors),并了解它们之间的关系。向量的可视化是数据科学中众多技能之一。

为了更好地理解线性代数的可视化效果,你可以看看YouTube上“ 3blue1brown”上传的播放列表“线性代数的本质(Essence of Linear Algebra)”。这个频道还发布了其他视频,通过可视化描述了数学的美丽之处。

●概率论(Probability Theory)●

概率是人们用来理解不确定性背后的科学的一套原则。有了足够多的观察,我们就可以使用确定性原理来对不确定性进行建模。概率论的最佳课程是John Tsitsiklis博士在MIT OCW上发表的讲座。该课程讨论了概率论的基础知识,并讨论了泊松过程(Poisson Process),马尔可夫链(Markov Chains),中心极限定理(Central Limit Theorem)等等。

建议你完成所有作业和考试,来测试在课程中学习到的概念。作业和考试都可以在MIT OCW上找到,平台也提供了相关答案。如果你是喜欢通过书籍学习的人,那么你可以阅读《概率概论Introduction to Probability》的第二版。它是 由Bertsekas,Dimitri和John Tsitsiklis共同编写,随以上课程附赠。

●多变量微积分(Multivariable Calculus)●

了解多变量微积分,对于理解许多机器学习算法至关重要,因为大多数机器学习算法会使用多个参数(深度学习中则是数百万个参数)因此,仅通过单变量微积分,是无法完成梯度和反向传播矩阵的计算的。因此,多变量微积分的知识对于机器学习至关重要。

在上任何有关多变量微积分的课程之前,请先回顾单变量微积分的概念。关于它的最佳课程之一是Denis Auroux博士在MIT OCW上的讲座。此外,与前面部分一样,要完成这个课程里的作业和考试。该课程讨论了拉格朗日乘数(Lagrange Multipliers),偏微分方程(Partial Differential Equations),矢量场(Vector Fields),通量(Flux)等。“ 3blue1brown”发表了由一系列简短(5-10分钟)视频组成的播放列表,使用了可视化方式对这个主题进行了解释。我强烈建议你观看他的视频,来更好地理解多变量微积分。

●多元统计(Multivariate Statistics)●

许多机器学习算法会在多元设置中使用统计的概念。 这些概念源自于线性代数以及高维特征空间的概率和统计学。我并没有学习多元统计的特定课程,但是,我建议用以下的任一资源来学习这个概念:

  • R. Johnson的书的第4、7和8章:应用多元统计分析(Applied Multivariate Statistical Analysis)。
  • T W. Anderson的书的第2、3和11章:多元统计分析简介(An Introduction to Multivariate Statistical Analysis)。

完成这些以后,你可以坐下来,回顾一下在这个三个月计划中学到的知识。但这并不意味着结束。

请继续阅读研讨会论文、高级机器学习书籍、参与在线课程。应该有很多人已经看过Andrew Ng博士的机器学习课程。那么你还可以在斯坦福大学观看CS229的原始课程,并试着用严格的数学方法去深入了解机器学习的概念。

此外,你还可以阅读下面提到的书籍来学习更多机器学习方面的知识:

  1. Christopher Bishop的《模式识别和机器学习(Pattern Recognition and Machine Learning)》;
  2. 《计算思维与数据科学导论(Introduction to Computational Thinking and Data Science)》;
  3. Tommi Jaakkola教授的《机器学习(Machine Learning)》。

如果你对本文有任何疑问,欢迎留言。

原文作者:Aryansh Omray
翻译作者:Jiawei Tong
美工编辑:过儿
校对审稿:Dongdong
原文链接:https://towardsdatascience.com/three-month-plan-to-learn-mathematics-behind-machine-learning-74335a578740