吴恩达关于论文阅读的建议

那年仲夏 提交于 2020-01-20 22:24:06

本文总结了吴恩达在斯坦福大学CS230深度学习课程在YouTube上的演讲:

对职业发展的一些建议以及阅读研究论文的方法


Andrew提出的主要建议:

重视论文阅读:这是非常重要的技巧。当他试图在深度学习中掌握一个新主题时,他就会阅读科研论文。

具体的步骤是:

  1. 编写一份论文列表:尝试创建一份论文列表、包括你拥有的任何文本或学习资源。

  2. 过一遍列表:以一种并行的方式阅读论文,也就是同时处理多篇论文。具体地说,试着快速浏览并理解每一篇文章,而不是全部读完。也许你读了每一篇文章的10-20%,但这足以让你对手头的文章有一个高水平的理解。在那之后,你可能会决定删除其中的一些论文,或者只是浏览一两篇论文,把它们通读一遍。

他还提到,如果你读到:

  • 5-20篇论文(在选择的领域,比如语音识别)=>这可能是足够的知识,你可以实现一个语音识别系统,但可能不够研究或让你处于前沿。
  • 50-100篇论文=>你可能会对这个领域的应用(比如语音识别)有很好的理解。

如何读论文?

不要从头读到尾。相反,需要多次遍历论文,下面是具体如何做的:

  1. 阅读文章标题、摘要和图:通过阅读文章标题、摘要、关键网络架构图,或许还有实验部分,你将能够对论文的概念有一个大致的了解。在深度学习中,有很多研究论文都是将整篇论文总结成一两个图形,而不需要费力地通读全文。
  2. 读介绍+结论+图+略过其他:介绍、结论和摘要是作者试图仔细总结自己工作的地方,以便向审稿人阐明为什么他们的论文应该被接受发表。
    此外,略过相关的工作部分(如果可能的话),这部分的目的是突出其他人所做的工作,这些工作在某种程度上与作者的工作有关。因此,阅读它可能是有用的,但如果你不熟悉这个主题,有时很难理解。
  3. 通读全文,但跳过数学部分
  4. 通读全文,但略过没有意义的部分:出色的研究意味着我们发表的东西是在我们的知识和理解的边界上。
    他还解释说,当你阅读论文时(即使是最有影响力的论文),你可能也会发现有些部分没什么用,或者没什么意义。因此,如果你读了一篇论文,其中一些内容没有意义(这并不罕见),那么你可以先略读。除非你想要掌握它,那就花更多的时间。

当你阅读一篇论文时,试着回答以下问题:

  1. 作者试图完成什么
  2. 这个方法的关键要素是什么
  3. 你自己能做什么
  4. 你还想要什么其他的参考资料

如果你能回答这些问题,那说明你可能对论文有比较好的理解。

事实证明,当你读更多的论文时,通过练习你会变得更快。因为,很多作者在写论文时使用的是通用格式。

更加深入的理解文中的数学部分

试着从头开始重新推导。虽然,这需要一些时间,但这是一个很好的练习。

代码练习

  • 下载开源代码(如果你能找到的话)并运行它。
  • 从头开始重新实现:如果你能够做到这一点,那么这是一个强烈的信号,表明你已经真正理解了手头的算法。

持续进步

最重要的是不断学习,变得更好是指更加稳定的学习,而不是集中一段时间内读大量的论文。

与其在短时间内死记硬背,不如从明年开始每周读两篇论文。


参考:

  1. https://medium.com/@mohamedalihabib7/advice-on-building-a-machine-learning-career-and-reading-research-papers-by-prof-andrew-ng-f90ac99a0182
标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!