ChatGPT备受瞩目，但我们也不能忘记背后不为人知的天才。IlyaSutskever是OpenAI的联合创始人兼首席科学家。正是在他的领导下，OpenAI在开发尖端技术和推进人工智能领域取得了重大进展。在这篇文章中，我们探讨了Sutskever如何在二十年内从一名年轻的研究人员成长为人工智能领域的领军人物之一。无论您是AI爱好者、研究人员，还是只是对这个领域的内部运作感兴趣的人，这篇文章都将提供有价值的观点和信息。本文遵循以下时间线：2003年：IlyaSutskever的学徒之旅2011年：了解AGI2012年：图像识别革命2013年：将DNN研究拍卖给Google2014年：语言翻译革命2015年：从Google到OpenAI：人工智能的新篇章2018年：GPT1、2、和32021:DevelopingDALL-E12022:UnveilingChatGPTtotheworldIlyaSutskeverOpenAI联合创始人兼首席科学家，2005年毕业于多伦多大学，2012年获得CS博士学位。自2012年以来，他先后在曾就职于斯坦福大学、DNNResearch、GoogleBrain，从事机器学习和深度学习相关研究，2015年放弃谷歌高薪职位，与GregBrockman等人共同创建OpenAI，领导OpenAIGPT-1、2、3、DALLE系列机型的研发。In2022,hewaselectedaFellowoftheRoyalSocietyofScience.作为人工智能领域的先驱，他在塑造人工智能当前格局方面发挥了重要作用，并继续突破机器学习的可能性边界。他对人工智能的热情促成了他开创性的研究，这些研究塑造了深度学习和机器学习领域的发展。2003：IlyaSutskever的第一印象Sutskever：我不明白，Hinton：我为什么不明白，Sutskever：人们训练神经网络来解决问题，当人们想要解决不同的问题时，他们必须重新开始训练另一个神经网络。但我认为人们应该有一个可以解决所有问题的神经网络。作为多伦多大学的一名本科生，Sutskever想加入GeoffreyHinton教授的深度学习实验室。于是，有一天，他敲响了Hinton教授办公室的门，询问他是否可以加入实验室。教授让他提前预约，苏茨克维尔不想再浪费时间，直接问道：“现在怎么样？”意识到Sutskever是一个敏锐的学生，Hinton给了他两篇论文让他阅读。一周后，Sutskever回到教授办公室，告诉教授他不明白。“你怎么不明白？”教授问。Sutskever解释说：“人们训练神经网络来解决问题，当他们想解决不同的问题时，他们不得不用另一个神经网络重新开始训练。但我认为人们应该有一个可以解决所有问题的神经网络。”他的话证明了Sutskever得出结论的独特能力，即使是经验丰富的研究人员也需要数年时间才能得出结论，Hinton邀请他加入他的实验室。2011：初识AGISutskever：我不同意这个想法（AGI）当Sutskever还在多伦多大学的时候，他飞到伦敦去DeepMind找工作。在那里，他遇到了正在构建AGI（通用人工智能）的DemisHassabis和ShaneLegg（DeepMind的联合创始人）。AGI是一种通用人工智能，能够像人一样思考和推理，完成与人类智能相关的各种任务，如理解自然语言、从经验中学习、做出决策和解决问题等。当时，AGI不是严肃的研究人员会谈论的话题。Sutskever也认为他们与现实脱节了，所以他拒绝了这份工作，回到大学，并最终在2013年加入了谷歌。2012年：图像识别革命赢得ImageNet竞赛GeoffreyHinton有远见，当其他人相信深度学习时不。他坚信赢得ImageNet比赛将一劳永逸地解决争论。ImageNet竞赛：斯坦福大学实验室每年都会举办ImageNet竞赛。他们为参赛者提供了一个庞大的数据库，其中包含精心标记的照片，来自世界各地的研究人员竞相尝试创建一个可以识别最多图像的系统。Hinton的两个学生IlyaSutskever和AlexKrizhevsky参加了比赛。他们打破了传统的人工设计方案，采用了深度神经网络，准确率突破了75%大关。于是他们赢得了ImageNet比赛，他们的系统后来被命名为AlexNet。从此，图像识别领域焕然一新。后来，Sutskever、Krizhevsky和??Hinton在AlexNet上发表了一篇论文，该论文成为计算机科学领域被引用次数最多的论文之一，其他研究人员总共引用了超过60,000次。2013年：将DNNresearch拍卖给谷歌Sutskever&Krizhevsky：你应该得到更大比例的分红。Hinton：你给我的钱太多了。Sutskever&Krizhevsky：但是我们已经决定让你带头了。Hinton：这显示了他们的性格。Hinton与Sutskever和Krizhevsky一起成立了一家名为DNNresearch的新公司。他们没有任何产品，也没有在未来建造任何产品的计划。Hinton问律师如何最大化他的新公司的价值，尽管它目前只有三名员工，既没有产品也没有传承。律师给他的选择之一是安排拍卖。此次收购涉及四家公司：百度、谷歌、微软和DeepMind（当时是伦敦一家年轻的初创公司）。最先退出的是DeepMind，其次是微软，最后只剩下百度和谷歌参与竞争。一天晚上将近午夜，拍卖价格高达4400万美元，Hinton暂停了竞标，然后去睡觉了。第二天，他宣布拍卖结束，并以4400万美元的价格将他的公司卖给了谷歌，他认为为他的研究找到一个合适的“家”更为重要。在这方面，Hinton和他的学生一样，将他们的想法置于经济利益之上。到了分配收益的时候，Sutskever和Krizhevsky坚持认为Hinton应该得到更大的份额（40%），尽管Hinton建议他们还不如睡一觉。第二天，他们仍然坚持这个分配。欣顿后来评论道：“它讲述的是他们是谁，而不是我”。之后，Sutskever成为了GoogleBrain的研究科学家，他的想法发生了更大的变化，逐渐开始与DeepMind创始人的想法接轨。他开始相信AGI的未来指日可待。当然，Sutskever本人在面对新的信息或经验时从不害怕改变主意。毕竟，相信AGI需要信仰的飞跃，正如SergeyLevine（Sutskever在Google的同事）对Sutskever的评价：“他是一个不惧怕‘相信’的人。”2014：语言翻译革命Sutskever：正确的结论是，如果你有一个非常大的数据集和一个非常大的神经网络，那么成功是必然的。（最佳翻译）收购DNNResearch后，Google聘请Sutskever担任GoogleBrain的研究科学家。在谷歌期间，Sutskever发明了一种可以将英语翻译成法语的神经网络变体。他提出了“序列到序列学习”（SequencetoSequenceLearning），可以捕获输入（比如英文句子）的序列结构，并将其映射到同样具有序列结构的输出（比如法语句子）。他说，研究人员不相信神经网络可以翻译，所以当他们这样做时，这是一个很大的惊喜。他的发明击败了表现最好的翻译器，使谷歌翻译有了重大升级。语言翻译从未如此。2015年：从Google到OpenAI：AI的新篇章SamAltman和GregBrockman将Sutskever和其他9名研究人员召集在一起，看看是否仍有可能组建一个拥有该领域最优秀人才的研究实验室。在讨论将成为OpenAI的实验室时，Sutskever意识到他找到了一群志同道合的人，他们分享他的信念和抱负。布罗克曼向10名研究人员发出了加入他的实验室的邀请，并给了他们三周的时间来做出决定。谷歌了解到这一点并向Sutskever提供了一笔可观的报酬以加入他们。被拒绝后，谷歌在第一年将他们的薪水提高到近200万美元，这是OpenAI给他的薪水的两到三倍。但Sutskever愉快地放弃了谷歌数百万美元的工作机会，最终成为非营利组织OpenAI的联合创始人。OpenAI的目标是通过利用人工智能造福所有人，以负责任的方式推进人工智能。2018年：开发GPT1、2、3Sutskever带领OpenAI发明了GPT-1，之后又发展到GPT-2、GPT-3和ChatGPT。GPT（GenerativePre-trainedTransformer）模型是一系列基于神经网络的语言模型。GPT模型的每一次更新，都是自然语言处理领域的一次突破。GPT-1(2018)：这是该系列中的第一个模型，在大规模互联网文本数据集上进行训练。它的一项关键创新是使用无监督预训练，在这种情况下，模型学习根据先前单词的上下文来预测句子中的单词。这使模型能够学习语言结构并生成类似人类的文本。GPT-2(2019)：在GPT-1成功的基础上，它在更大的数据集上进行了训练，从而产生了更强大的模型。GPT-2的主要进步之一是它能够针对广泛的主题生成连贯流畅的文本段落，使其成为无监督语言理解和生成任务的关键角色。GPT-3(2020)：GPT-3在规模和性能上都有了实质性的飞跃。它是在一个庞大的数据集上训练的，使用了1750亿个参数，比以前的模型大得多。GPT-3在广泛的语言任务上实现了最先进的性能，例如问答、机器翻译和摘要，具有接近人类的能力。它还展示了执行简单编码任务、撰写连贯新闻文章甚至生成诗歌的能力。GPT-4：预计很快就会出现，预计在2023年。2021年：开发DALL-E1Sutskever还带领OpenAI发明了DALL-E1，这是一种由AI驱动的图像生成模型。它使用与GPT模型相似的架构和训练过程，但应用于图像而不是文本的生成。许多当今主要的图像生成器——DALL-E2、MidJourney——都归功于DALL-E1，因为它们基于相同的转换器架构，并在类似的图像数据集和相关文本说明上进行训练。此外，DALL-E2和MidJourney都是基于DALL-E1的微调过程。2022：向世界推出ChatGPT2022年11月30日，Sutskever帮助推出了ChatGPT，引起了很多公众的关注和关注在短短5天内增长到100万用户。ChatGPT的工作原理是在大型文本数据集上预训练深度神经网络，然后针对特定任务对其进行微调，例如回答问题或生成文本。它是一个基于GPT-3语言模型的对话式人工智能系统。了解对话的上下文并生成适当的响应是ChatGPT的主要功能之一。该机器人会记住您的对话线索，并根据之前的问题和答案做出后续回复。与通常仅限于预编程响应的其他聊天机器人不同，ChatGPT可以在应用程序内生成响应，从而实现更加动态和多样化的对话。OpenAI的创始人之一埃隆·马斯克说：“ChatGPT非常好。我们离危险的强大人工智能不远了。”尾注IlyaSutskever对人工智能的热情推动了他的突破性研究，改变了该领域的进程。他在深度学习和机器学习方面的工作在推动技术发展和塑造该领域的未来方向方面发挥了重要作用。我们还亲眼目睹了Sutskever的工作在AI领域的影响。他改变了该领域的进程，并将继续朝着这个方向努力。尽管面临多重物质诱惑，Sutskever还是选择了追求自己的热情并专注于他的研究；他对工作的奉献精神是任何研究人员的榜样。今天，我们已经看到了Sutskever对我们世界的影响。显然，这仅仅是个开始。
