2020年是非常具有挑战性的一年，对我个人而言，这是一个重要的里程碑——获得博士学位。康奈尔大学计算机科学专业。这是一个六年的旅程，我作为机器学习研究人员的个人成长，从我第一次被拒绝到确定更广泛的研究领域，也是在整个领域快速增长和变化的背景下。随着这一年接近尾声，我总结了我从（机器学习）博士经历中得到的一些反思和教训。我讨论的主题包括对未来的期望、博士期间的常见挑战（以及一些应对这些挑战的策略）、与出版物保持同步、研究的社区性质和发展研究愿景。我希望这些主题对指导博士和机器学习研究有所帮助！对博士有什么期望在这篇文章的标题中，我将博士称为“旅程”，这是一个经常被低估的方面，尤其是那些刚从本科毕业的人（这也是我的经历）。一个典型的机器学习博士是一个相对非结构化的5-6年期间，在此期间，您不仅可以学习如何在该领域进行研究，还可以培养对特定问题的个人偏好。这些不断变化的个人偏好将影响你决定从事的研究类型，甚至影响你在博士毕业后选择的职业道路。但尤其是在博士早期，很难预测这些个人观点将如何演变。就我而言，我开始攻读博士学位时完全假设我会留在工业界，一段时间后我开始认真考虑学术界并最终做出了一个非常艰难的决定：拒绝学术界的邀请，继续留在工业界。因此，攻读博士学位有助于一步一步地专注于所获得的经验（学习/研究/社区参与），而不是非常具体的期望结果（这很容易改变并增加不必要的压力。）一些常见的挑战攻读博士学位的这段旅程是一次非常有益的经历，尤其是在机器学习领域，它提供了一个机会，可以为理解基础科学和部署有影响力的技术做出贡献。我很感激我的博士给了我很多机会去体验这两者！然而，博士学位的持续时间和非结构化性质也使其具有挑战性。我的旅程肯定有起有落，在很多时候我都在与孤立感、完全停滞不前的感觉作斗争，甚至在试图跟上快速进步的步伐时不知所措。回顾过去，通过与同行的讨论，我现在知道，不幸的是，这些低谷可能相当普遍。但是因为这些经历是很多人共有的，所以也可以有克服它们的策略。下面我将讨论其中的一些经验教训和策略。感觉完全停滞不前一个非常普遍的挑战是感觉完全停滞不前，无论是在特定项目上还是在整个研究过程中。如果你的挑战是一个特定的项目，你已经付出了很多努力但仍然没有奏效，一些策略可能会有所帮助：写一篇文章：收集所有部分实验结果、数学见解、记下动机等，并采取是时候把它们全部写成一篇文章了。这有助于让我们了解事物的位置以及存在重要差距的地方。关键点：如果项目的某个特定部分不可行，是否可以重新定义问题（或许从相关工作中获得灵感）以使其更易于处理？形成联系：当前项目关注的内容与其他研究领域之间是否存在联系？可以在这个项目中探索吗？这既有助于项目的进展，又使其与更广泛的社区相关。写作反馈：从研究界的同行、合作者和朋友那里获得对项目写作的反馈也可能会有帮助。他们可能会提供新的观点或提出改进建议。创意工坊提交：提交创意工坊也很有用。这也提供了一个帮助收集所有研究结果并获得有用反馈的机会。（现在有一段时间，我从机器学习会议的研讨会中得到了最大的收获，因为我可以讨论/获得关于正在进行的方向的反馈，并会见在同一领域工作的其他研究人员。）结束和继续：有时，有可能是一个一开始听起来很有希望但很难实施的项目，并且在重构或与其他领域建立联系方面具有内在的挑战性。在这种（困难的）情况下，最明智的做法是迅速结束项目并继续前进。如果您得到的只是部分结果，则很有可能创建最终记录并分享它，因此一种选择是这样做，从合作者那里获得确认和最终反馈，并将其保存为arXiv预印本或研讨会论文。如果这种被困的感觉源于更广泛的研究过程，我意识到的一个大问题是研究成熟度往往很难衡量，尤其是在评估自己的时候！在攻读博士学位期间，我开始研究一些医疗保健应用，但在学习该领域/撰写论文方面进展缓慢。这让我有一种停滞不前的感觉，对研究进展缓慢感到有点沮丧。但是当我重新阅读我作为博士第一次接触到的一些论文时，我能够以与以前截然不同的深度和背景来理解它们。研究成熟度的关键方面——了解更广泛的结果背景、能够建立跨领域的联系、快速缩小你所在子领域的全新关键贡献——不能立即转化为有形的产出（更多论文）。但它们对于成为具有丰富研究视野的独立研究人员至关重要——可以说是博士的主要研究目标。如果您正在阅读论文、了解该领域并自己研究方向，（甚至可能是教学/指导）很可能您在所有这些重要领域都取得了进步！跟上ML机器的步伐感到不知所措学习是一个动态、快节奏的领域。但另一方面，它淹没在新论文、新预印本、新博客、新实现、新框架等的洪流中（有趣的统计数据：NeurIPS在过去一年中有大约10,000次提交和大约2k次接受的提交接受的论文-难怪我们感到不知所措！）我处理这个问题的策略是：有大量链接可以找到相关论文的参考资料。对我来说，它是arxivstat.MLcs.LG邮件列表、arXiv-sanity、Twitter、订阅、reddit/MachineLearning、paperswithcode和SemanticSc??holar/GoogleScholar订阅的组合。保留一份论文清单，如果我遇到一篇有趣的论文但没有时间阅读（通常是这种情况），我会记下它并尝试回顾。论文阅读策略，如果一篇论文与我正在积极从事的研究方向非常接近，我会详细阅读它，否则我会略读摘要以获得高层次的总体印象。偶尔阅读不同的领域，偶尔（也许一年一次）我会研究一些我没有从事的有趣领域，并阅读一些论文以了解该领域正在发生的事情。记住以下几点也很有帮助：(1)每个人都对论文发表的速度感到不知所措，以及(2)许多论文可能依赖于相同的基本思想，通常足够熟悉以跟上该领域的步伐。感到孤独攻读博士学位的另一个常见挑战是与孤独作斗争。在我攻读博士学位的头几年，一些项目要求我专注于非常狭窄、具体的问题，这也非常费力，而且（感觉）永无止境。在那些时候，很难不感到与其他研究人员和更广泛的领域完全隔绝，我非常感谢我的博士导师，他的支持和指导让我度过了难关。更广泛地说，这是很常见的，尤其是在博士学位的早期阶段，你可能同时在学习如何从头到尾看待一个研究项目，而与更广泛的研究领域/社区的背景和联系较少。与现场/社区保持联系有助于确保您不会感到孤立。这可以包括：(i)与（高年级）学生/博士后合作，(ii)获得有关您工作进度的反馈——这可能来自您的顾问/实验室，也可能来自其他同行/导师，(iii)积极参与在更广泛的社区中，无论是简单地参加会议、指导还是组织研讨会。3个有用的个人提示在讨论了博士阶段面临的一些常见挑战以及帮助解决这些挑战的方法之后，本文的其余部分概述了一些可能对研究进展有益的注意事项。特别是，我将从我发现在整个博士期间非常有帮助的三项个人技能开始：主动性、专注力和毅力。这当然是基于我个人的经验！但对我来说，本科和博士课程之间的一个关键区别在于是否需要采取行动——这是否意味着阅读重要的相关论文、快速初步了解不同研究方法的可行性、与同行进行相关研究，甚至参加并积极参与参加会议。因为花在攻读博士学位上的时间大部分是非结构化的，所以生产力在很大程度上取决于你学习和进行研究的主动性。我发现另外两项非常有用的技能是专注力和毅力。在开始一个新的研究方向时，集中注意力非常有助于细读相关工作，提炼重点，在初步探索中快速学习，确定主要项目方向。另一方面，坚持对于完成研究项目非常有用，（尤其是）在准备提交的论文中，通常会有一长串编辑/添加，并且在提交后，进一步编辑以响应同行评审和拒绝。很难专注于完成所有这些编辑（尤其是当您准备再次提交论文时，并且有更新、更有趣的项目正在进行），但同行评审过程的可变性通常意味着它值得坚持.做论文和想法的笔记在我读博士期间，有两份文件，一份是第一年的，一份是第三年的，我一直在更新。第一个是跟踪我读过的论文——每当我读到一篇新论文时，我都会将它连同我的简短摘要添加到文档中。该文档现在超过50页（这可能意味着我应该切换到Mendeley或Paperpile），这是一种非常有用的方法，可以快速翻回我多年前阅读的文档并了解要点。另一份文件记录了研究思路。每当我有一个有前途的新想法时，我都会记下来。随着时间的推移，这有助于确定我的研究方向并突出关键主题。社区的重要性我花了很长时间才意识到（机器学习）研究的一个重要特性是研究从根本上说是社区的努力。我们正在努力解决的问题是非常困难的，进步取决于你借用别人的想法和别人借用你的想法的循环。这是探索研究方向时要牢记的关键因素。社区对什么感到兴奋，为什么？有没有不足或差距？是否有自然的后续研究步骤？花时间与社区中的同行讨论这些问题和其他问题对于开发知情和相关的研究问题至关重要。如果您发现该领域感兴趣的令人兴奋的新研究方向，围绕该方向建立社区通常很有用——这可以通过发起合作、传播关键开放问题和组织研讨会来实现。早在攻读博士学位时，我就对了解现代深度学习系统所展示的关键经验现象很感兴趣。但研究这个课题在当时是非常具有挑战性的。该领域正在迅速发展，使任何类型的分析的重点成为一个移动的目标，并显着增加围绕该主题建立新社区的挑战。所以，发表我的第一篇深度学习分析论文是相当困难的，这绝对是一种坚持！但从那时起，见证这一激动人心的研究领域并为之做出贡献一直是一种乐趣。一件非常美妙的事情！发展研究视角尽管我之前描述过，当开始攻读博士学位时，最好一步一步来，关注经验而不是特定目标，从研究成熟度的角度来看，医生必须有一个明确的目标：让您的独立研究人员具有丰富的研究视角。在当前的机器学习研究中，随着论文的泛滥，经常需要发表大量论文很容易让人感到压力。但是，虽然论文写作是一项重要的技能，但我认为研究成熟度的一个关键测试是对你的领域有一个知识渊博的观点的能力，这有助于确定关键的研究问题并与总体主题-研究愿景取得联系。拥有全面的研究视野是非常有动力的。打个比方，这有点像完成“数字绘画”套件：你不再只是看到每个方块像素的颜色，而是突然欣赏了整幅画。那么，如何培养研究视野呢？首先，从我的博士生涯来看，我认为没有几年的研究经历是很难形成成熟的研究视野的。我记得在我攻读博士学位的最初几年里，我阅读了一些论文并看到了高级研究人员的一些演讲，我感到很沮丧，因为我几乎无法识别/阐明有趣的研究问题。从那以后的几年里，我阅读的所有论文、完成的项目以及参加的研讨会的综合作用极大地提高了我在这方面的能力。（当然还有改进的空间！展望未来，随着我获得更多背景知识和对更大子领域的理解，这种能力将继续发展。）更具体地说，关于形成（更精细的）研究视野阶段：从探索开始，我的第一个很少有项目能让我接触到各种各样的东西，并帮助我理解我发现本质上有趣的东西。此后自然有后续项目需要研究，最终导致一些应用/部署相关的问题。所有这些都开始汇聚在机器学习设计和部署中AI交互的广泛主题下，并且随着研究愿景的顺利开展，激发了新的问题。（我非常感谢我的博士生导师在整个过程中给我的见解、指导和鼓励！）最后，我想强调的是，多年的经验确实会产生复合效应。当你在做一个研究项目时，更容易找出一篇研究论文的突出思想，这给你的下一个项目提供了个人视角和与未来相关的思考，也让那些未来的项目更容易被吸收，然后回来帮忙确定新的和有趣的研究方向，并最终合并形成更广阔的视角。总之，读博士。很有收获。然而，这是一段旅程，有起有落，有个人发现，也有（研究）观点的演变。我非常感谢我在博士期间的丰富经历。并希望这篇文章对其他人有所帮助！
