如何深入自学深度学习?

如何深入自学深度学习?

你或许有兴趣学习更多深度学习研究方面的知识

但却又从未有机会在实验室里工作

你或许刚刚结束了一门在线课程或者训练营

又或许你仅仅是好奇该领域内的最新进展

那么你该从哪儿开始呢

如果你不太能专心阅读科研文献,又想要跟上最新的研究前沿,一种最方便的办法就是去订阅一份可以为你筛选内容的新闻或者邮件列表。

比如

Analytics Dispatch

https://mode.com/analytics-dispatch/archive/

Machine Learnings

http://subscribe.machinelearnings.co/

前者以数据科学文章为主,更偏向应用而不是科研;后者则以AI和机器学习相关文章为主。

如果你更喜欢看图学习,那你可能会对Two Minute Papers(https://www.youtube.com/user/keeroyz/videos有兴趣,这是一个Youtube频道,以核心概念动画化的方式把科学研究浓缩进短视频中。出于媒体的天性,该频道往往专注于演示案例,所以如果你更关心新研究成果的应用的话,那对你来说就很完美了。

阅读文献

找到文献里的关键部分非常重要。与对相关材料更有经验的人讨论文献内容可以帮助你见微知著,并找到那些你更该专注学习的部分。

此外,你还应该多考虑论文的结构和语境,而不是只理解其讨论的表面内容。

  • 该领域内最重要的尚未解决的问题有哪些?
  • 研究结论在什么时候有用?为什么有用?
  • 研究有什么局限性?
  • 有没有哪些洞见能被推广到其它领域?
  • 为什么其中有些思想影响广泛而另一些则比较平庸?
  • 有哪些内容是作者在论文里没有讨论到的?

至少在深度学习领域内,既有注重理论的论文,也有注重应用的论文。由于你大概是为了兴趣和工作而来的,就这一点讲,从应用型的开始读可能更为容易,因为这类文献的影响会更加具体。

不论你以前是否读过论文,回顾一下阅读论文的流程都能有点用处。首先要从绪论读起,而不是摘要。通常情况下,摘要可能会让你对论文里真正表述的内容见解偏颇。要确保你对整体图景有所理解,并且知道这篇论文是如何融入相关研究领域的。要辨别出研究背景的关键点,明确研究背后的问题,然后找出研究中所用的方案。

这样,你就可能想去读论文全文了,要密切注意研究的方法和结论。想办法让结论和摘要回过头来与你对论文的思考联系起来,然后去找一找其他人对论文的看法。这最后一步不是必选,因为你手上可能没法马上就拿到文献评论,但这一步可以帮你了解作者的同僚是否支持论文的结论。

筛选论文

Best Paper Awards in Computer Sciencehttps://jeffhuang.com/best_paper_awards.html以顶级学术会议为基准,收集多个研究领域的年度文献。比如,其中就有获得过AAAI“杰出论文奖”和ICML“优秀论文奖”的论文,二者分别是AI和机器学习领域的顶级会议。

Papers We Love(https://github.com/papers-we-love/papers-we-love是一个由计算机科学家和科研爱好者构成的社区,其编译了计算机科学内所有学科的顶级文献。该集团会根据城市举办分会,也会有关于特定论文的学术报告。

Fermat’s Library (https://fermatslibrary.com/journal_club是一个寻找带注释文献的好去处——所谓注释就像是来自一个论文阅读俱乐部的各种不同见解。其包含来自所有科研领域的论文,也有一份按研究领域排序的旧文献清单。不光如此,他们还提供新闻,每周评论一篇新论文,评论形式从简单的解释到GIF图都有。

Distill(https://distill.pub/是一份以图形解释机器学习研究的在线刊物。该刊物是以更加透明化和图形化地进行研究交流为目的而创立的,其拥有可互动的小模块,代码段,还有嵌入论文内的动画。

Awesome Deep Learning Papers (https://github.com/terryum/awesome-deep-learning-papers则有点过时了,其最后一次更新是在2年前,但它列出了从2012到2016被引用最多的文献,列表按学科排序,比如卷积神经网络模型、最优化技术、物体识别还有强化学习。

CS Rankings(http://csrankings.org/由麻省大学阿默斯特分校的Emery Berger教授建立,是一个查看科研机构的优秀渠道,查看结果按出版物和教职工排名。你可以搜索计算机科学学科——包括人工智能、机器学习、自然语言处理,以及计算机视觉——来寻找各学科的顶级会议与期刊。

结语

世上已发表的论文是你绝对读也读不完的,所以确保你读的论文让你有兴趣或者对工作有帮助便是一项挑战如果你已经在相关领域工作,有了一些同事,那不妨向他们寻求推荐的文献。假如没有,那要是有机会参加座谈会和演讲的话,要去查一查发言人中有没有人可能具有与你的工作相关的洞见。

还有一种可能就是建立或者加入一个文献阅读小组——当你能在社区中就论文作讨论时,你的收获往往比论文本身更多。

原文作者:Sharon Lin

翻译作者:Siyu Hao

美工编辑:过儿

校对审稿:Dongdong

原文链接:https://towardsdatascience.com/deep-learning-research-and-how-to-get-immersed-8bab98c20577