今年上半年，中美互联网和科技公司都出现了不同程度的裁员和裁员。但与此同时，也有不少人在这段时间选择了跳槽，他们从令人羡慕的“大厂”跳槽到了自己感兴趣的创业公司。下图是近期离职的“AI研究人员”名单Mila研究员EthanCaballero编译的Google》：榜单地址：https://docs.google.com/spreadsheets/d/14M-K2JHTOqWVsV4x95psAb94CblRIrhBimk8HVgwmRY/edit#gid=0这个榜单包含了很多熟悉的研究员，比如Transformer的重要作者，AshishVaswani和NikiParmar，他们与AnmolGulati、AugustusOdena和其他也在名单上的人一起创立了一家名为Adept的新公司。以创造性的方式与计算机合作以获得通用智能。当然，并不是每个人在离开谷歌后都会自己创业，比如谷歌机器人高级研究科学家EricJang。他于今年3月底（时隔6年）离开谷歌，并于4月25日宣布加入挪威机器人公司“HalodiRobotics”，担任AI副总裁。对于这个选择，很多人可能会问，为什么要选择这样的公司？这些大厂的研究人员跳槽时会考虑哪些因素？在前段时间发表的一篇博客（AllRoadsLeadtoRome:TheMachineLearningJobMarketin2022）中，EricJang详细描述了他的决策过程以及他对美国目前机器学习就业市场的理解，以及他对AGI的理解（通用人工智能）实现路线的视图。以下是博文原文：选择下一家公司时要考虑的因素就我个人而言，我下一份工作的唯一限制因素是我想继续使用我的机器学习技能。下表列出了我考虑过的各种选项。我与所有这些公司的董事和创始人交谈过，但大多数都没有谈到正式的人力资源面试。请注意，这些选项的优缺点只是我根据2022年4月的观察得出的主观意见。在充满炒作的硅谷，一家公司可以在短短几年内坐上过山车，这份名单可能很快就会过时。注：图中特斯拉一栏“禁止排队喝咖啡”指的是马斯克威胁要解雇所有在SpaceX排长队喝咖啡的实习生，并安装摄像头以确保这堂课不会发生再次发生。（来源：https://twitter.com/rabois/status/1514601392178040836）TechnologyLeadTime对我来说，选择下一家公司时最重要的决定因素是该公司是否拥有领先竞争对手数年的技术优势。谷歌日志团队的一位朋友告诉我，他对小公司不感兴趣，因为他们在技术上远远落后于谷歌全球规模的基础设施，他们甚至还没有开始理解谷歌现在正在解决的问题，更不用说解决问题了谷歌十年前开始解决的问题。在上表中，我列出了我认为具有独特技术优势的上市公司。例如，OpenAI现在在招聘方面绝对是压倒性的，因为他们在大型语言模型算法方面处于领先地位，并且可以使用模型手术和超参数调整等商业机密玩缩放定律。尽管FAANG在计算能力方面具有优势，但OpenAI显然在创造技术领先时间方面做得很好。同时，如果将FAANG的普通机器学习研究人员与博士进行比较。学生，前者在原始计算方面领先15年。谷歌和DeepMind的语言模型在大多数指标上可能比GPT-3更强。但在某些情况下，仅在计算领域处于技术领先地位还不够。因此，一些研究人员离开了谷歌，因为他们非常不满意在推出基于大型语言模型的产品时必须经历的繁琐程序。我认真考虑过将我的职业道路转向生成模型，因为：1.机器人学非常难；2.在ML泛化方面，最令人印象深刻的案例似乎总是在生成建模中。然而，纯粹的生成建模空间感觉有点竞争，每个人都在争相拥有相同的产品和研究理念。无论有没有我，这个领域都可以以同样的方式发展。拥有未来的技术对于招聘工程师来说非常重要，因为他们中的许多人不想浪费他们的生命来构建其他人已经拥有的能力。例如，它就像一个神经科学实验室试图招募博士生在猴子大脑上做膜片钳实验，而隔壁的实验室正在使用光遗传学和Neurallink机器人。如果你有天赋，你可以自己重新发明这些，但这真的值得你花费宝贵的时间吗？当然，公司和研究实验室不是一回事。从长远来看，产品与市场的契合度以及团队构建未来技术优势的能力将更加重要。现任者可能变得臃肿和偏离轨道，而新贵可以利用不同的优势或将设计引向独特的方向。许多独角兽并不是先行者。为什么不选择自己开公司呢？作为湾区本地人，我最初计划围绕MLOps创办自己的公司。我想为AGI+主动学习构建一个领先的数据管理和注释系统。但有三件事改变了我的想法：首先，我与一些客户交谈以了解他们的ML和数据管理需求，看看是否有适合我的产品市场。他们的许多问题不需要尖端技术来解决，但我对尖端技术之外的许多问题不感兴趣，例如为营销活动构建模拟器，为机械臂拾取和-制作更好的姿势估计器在工厂中放置或对用户提要内容进行排名等。绝大多数企业都在解决无聊但重要的问题。但我希望我一生的工作是为人类带来更大的技术飞跃。其次，我认为在公司估值超过1亿美元后，CEO很少能做出令人印象深刻的技术贡献。为了做好工作，他们将大部分时间花在处理协调、产品和公司层面的问题上。他们积累了令人难以置信的社交渠道和影响力，他们甚至可能时不时地提交一些代码，但他们每天的日程安排都充满了废话，而且他们再也不会有效地修改这些代码了。类似的事情也发生在高级研究人员身上。这让我很害怕。著名计算机科学家、图灵奖获得者理查德·汉明在演讲中《You and Your Research》说，“如果你有一些好的结果，你就会被拉进各种委员会，然后你就不能做任何新的结果了。”传闻肯·汤普森(KenThompson)编写UNIX操作系统时，他的妻子休假一个月，因为这个月他有时间专注于更深层次的工作。《The Murder of Wilbur Wright》写道，如果这是真的，那该有多可怕？有没有可能汤普森一生都肩负着沉重的责任，然后在短暂的自由时刻，做了一些任何人做过的最重要的工作？最后，我选择的Halodi已经建立了令人敬畏的技术，他们给了我一个难得的机会去生活在未来，建立在领先于时代5年以上的东西之上。Bernt对人体解剖学的尊重给我留下了深刻的印象：从允许我们在没有精确计划的情况下掌握的过阻尼系统的固有被动智能，到允许我们通过Shape-changing脚弹簧系统移动。我们都相信，当你想要围绕人类而不是机器设计世界时，类人机器人对于大多数任务来说并不是“矫枉过正”，而是唯一可行的形式。条条大路通罗马几个月前，我问IlyaSutskever（OpenAI首席科学家），开办一个纯AGI研究实验室（如OpenAI、DeepMind）或一家盈利的科技公司是否更有意义，后者是数据护城河可以生成构建AGI所需的。Ilya说：“条条大路通罗马，每家成功的科技公司都将成为AGI公司。”这听起来可能有点令人吃惊，但您应该记住，迭代改进产品涉及难度成倍增加的深度技术。在半导体制造中，从32nm工艺节点微缩到14nm相当困难，但从14nm到7nm更难，需要解决超纯水等中间问题；在1980年代，创建一个简单的文本到语音系统已经成为可能，但在边缘情况下改进发音和自然地处理语调变化将归功于深度学习的突破；你可以在一台计算机上训练出像样的字符级语言模型，但是从条件字符建模中去除一些熵需要依赖数据中心；高速公路上的自动驾驶并不算太难，但住宅区道路上的L5级自动驾驶算是成熟的AGI。为了在未来几十年继续为客户增加边际价值，企业必须习惯于解决一些非常困难的问题。也许最终每个人都会聚在一起解决同一个难题，即AGI，这样他们就可以制作出具有竞争力的短视频应用程序、待办事项列表或语法检查器。我们可以对“AGI”的含义以及所有公司实现这一目标需要多长时间持怀疑态度，但我感觉底层模型将很快成为许多软件产品的赌注。我还想知道几年后，无损压缩大量互联网规模数据的专业知识是否将不再是技术领导者(FAANG)之间的一道防线。因此，寻找辅助数据和业务护城河来覆盖大规模ML专业知识是有意义的。AGI有很多途径，我在下面为一些大玩家概述了这些途径：例如，Alphabet拥有许多有价值的搜索引擎数据，可以捕捉人类的思想和好奇心。Meta记录了丰富的社会情报数据和人格特征。如果他们愿意，他们可以收集Oculus控制器交互以创建人类行为轨迹，然后将这些知识用于未来的机器人技术。TikTok的推荐算法可能比我们更了解我们的潜意识。即使像Grammarly、Slack和RiotGames这样的公司也拥有独特的人类智能数据护城河。这些公司中的每一个都可以使用他们的业务数据作为楔子来创造通用智能，在行为上克隆人类的思想和欲望。我个人的护城河赌注（通过加入Halodi）是“人形机器人比其他人领先5年”。Halodi已经拥有它，而特斯拉正在研究他们的同类产品。我在Halodi的主要工作最初是训练模型来解决移动运营中的特定客户问题，同时也为AGI制定路线图：如何从人形形式压缩大量具身的第一人称数据以生成通用智能、心智理论和自我意识。近年来，具身人工智能和机器人研究已经失去了一些光彩，因为大型语言模型现在可以解释笑话，而机器人仍然以不可接受的成功率执行拾取和放置。但也许，这值得反向赌注，因为在比特世界中训练模型是不够的。莫拉维克悖论根本不是悖论，而是我们未能解决“大多数智能”问题的结果。莫拉维克悖论是人工智能和机器人学者发现的一种违背常识的现象。与传统假设相反，人类特有的高阶智能只需要很少的计算能力，例如推理，但无意识的技能和直觉需要巨大的计算能力。正如Moravec所写，“让计算机像成年人一样下棋相对容易，但要让计算机像一岁的孩子一样感觉和行动是相当困难的，甚至是不可能的。”选择后的担忧我对Halodi（以及一般的AGI初创公司）有一些真正的担忧。历史告诉我们，机器人公司的死亡率很高，我不知道有哪家通用机器人公司曾经成功过。机器人公司往往从一般的机器人任务开始，然后迅速转向专注于一些无聊的事情。BostonDynamics、Kindred、Teleexistence——不胜枚举。正如在商业和生活中一样，资本和进化的力量共同支持硬件的专业化，而不是智能的普遍化。我祈祷这不会发生在我们身上。我想起了Gwern关于“时机”的文章：太早启动意味着失败，但保守与太晚启动一样糟糕，因为无论预测如何，一个好主意都会像火一样吸引过于乐观的飞蛾式研究人员或企业家：每个人牺牲了，但是一个在完美时刻亲吻火焰的幸运儿赢得了一切，此时所有人都可以看到最好的时机已经过去。但我也提醒自己RichardHeming对ClaudeShannon的评价：“他想创建一个代码，但他不知道该怎么做，所以他创建了一个随机代码，然后他被卡住了。停了下来。然后他问了一个不可能的问题：这些平均的随机码能做什么？然后他证明了这些平均的码是随机好的，也就是至少有一个码是好的。除了胆子大的人，谁敢这么想？人生苦短，做任何事都需要无限的勇气。
