让算法像人一样写是人工智能研究实验室OpenAI多年来一直追求的梦想。其最新研究成果是语言生成算法模型GPT-3，已被用于生成难以辨别的假文章。他写的博客骗过了HackerNews的出版商，甚至成为网站上的热门文章。帖子是这样写的：“为了把事情做好，也许我们根本不需要想太多。这似乎违反直觉，但我相信有时候想太多会阻碍我们的创造力。”OpenAI之所以能够实现如此高效的算法，是因为它可以接入海量的计算和数据，而且算法本身的容量远大于现有的所有算法：最大版本的GPT-3有1750亿个参数，这个方程可以帮助算法做更准确的预测。GPT-2只有15亿个参数。虽然OpenAI之前已经公布了它的算法，但这次它选择对GPT-3保密。该公司表示，GPT-3对于大多数运营商来说太大了，对其收费将使OpenAI从中获利。在过去的一年里，OpenAI改变了公司结构，使其对投资者更具吸引力。它放弃了其作为“有限利润”模式的非营利定位，因此如果OpenAI盈利，投资者就会得到报酬。它还启动了两家公司之间的合作伙伴关系，与微软达成了10亿美元的交易，该交易还让OpenAI优先访问微软的云计算平台。研究人员表示，他们对OpenAI隐瞒其算法的做法提出质疑，称这违反了基本的科学原则，并使核实该公司的说法变得越来越困难。“我担心到目前为止在GPT-2等方面所做的工作/对GPT-3和AlphaGo等代码不共享的所有论点持怀疑态度。在人工智能中，有很多类似的情况。”GPT-3的核心是一个非常强大的英语写作工具。GPT-3最重要的是它的大小，它通过分析45TB的数据学会了编写。据报道，培训过程花费了数百万美元的云计算成本，其中包含数亿个人工编写的组合。这是OpenAI长期战略的关键部分。多年来，该公司一直表示深度学习算法越大越好。数据越多，计算能力越强，算法就越强大。OpenAI在《刀塔2》中击败了职业电竞选手，因为它能够同时在数百个GPU上训练算法。OpenAI的政策主管JackClark认为，算法越大，“越有条理、越有创意、越可靠，”OpenAI的领导层表示。“当运气用完时，我们期待一场势均力敌的比赛，”CTOGregBrockman谈到《刀塔2》机器人所需的训练量时说。GPT-3采用了类似的方法。OpenAI认为，更大的算法意味着更多的参数，可以执行更通用的操作。比如GPT-3最基本的功能就是自动补全。给它一个单词或句子，它会逐字生成它认为接下来应该出现的内容。它可以回答问题，甚至可以在不对算法进行任何修改的情况下进行翻译。这不同于只能处理一项任务的专门微调算法。有人认为这是迈向人工智能圣杯的一步——通用智能，这意味着算法可以像人类一样学习和适应；而其他人则表示算法仍然无法真正理解它生成的话语。OpenAI发表了一份详细的研究报告，解释了算法的架构和取得的成果，而在GPT-3的功能研究方面，其他AI研究人员不得不相信OpenAI。这家研究公司最近摆脱了非营利地位，转而筹集资金开发商业产品，并且不再像过去那样发布其算法。2019年2月，OpenAI声称之前最大的版本GPT-2算法可能会产生错误信息或假新闻，发布这些内容太危险了。这一说法引来不少质疑。该公司首先发布了GPT-2的简化版，并没有发现滥用的迹象，最后发布了该算法的最大版本。现在，与其说GPT-3太危险，不如说它太有利可图而不能发布。GPT-3只能通过OpenAI运行的API访问，类似于亚马逊、谷歌和微软等公司将其算法货币化的方式。开发人员可以编写程序向GPT-3发送特定指令，GPT-3在OpenAI的云端生成响应并发回结果。虽然API在私人测试期间是免费的，但OpenAI正在考虑长期定价。这意味着研究人员只能向算法发送特定命令，而OpenAI可以随时撤销访问权限。OpenAI将这种方法归因于安全和规模方面的考虑。如果公司发现有人滥用API来支持假新闻网站，它可以撤销该开发者的访问权限。该公司还表示，这些算法规模庞大且运行成本高昂，更不用说开始后的培训成本了。“这使得大公司以外的任何人都很难从底层技术中获益。我们希望API能让小企业和组织更容易使用强大的人工智能系统。”由于云计算的定价方式，OpenAI训练和运行算法的确切成本很难计算在内。租用GPU的成本可能因特定服务器区域的地理邻近度以及根据项目规模协商的费率等因素而有很大差异。由于OpenAI使用部分资金为其任务建造自己的超级计算机，因此它可以从与微软的10亿美元合作中受益。但这些限制、规模和缺乏透明度，使其他科学家难以复制和验证该算法的有效性。尽管涉及风险投资和企业利益，但人工智能仍然是研究计算机科学的一种方式，科学方法仍然适用。最好的科学实验，例如构建算法以成功执行任务并证明假设，是可复制的。皮诺是可复制计算机科学的热心支持者，称GPT-3和AlphaGo等未发表的算法为“科学人工制品”。“这有点像挖掘恐龙骨骼，它可以为你提供支持某些理论的证据，但这与实际进行实验不同，”她在一封电子邮件中说。皮诺表示，这些“人工制品”有助于制定未来的研究假设，但仍不能替代扎实的知识。许多人担心人工智能的“民主化”，让任何人都可以使用，会受到OpenAI的威胁，因为它限制了对代码和训练有素的算法的访问。“人工智能的使用”一词是多方面的，意味着使用计算能力、数据集和算法本身。Google的TensorFlow和Facebook的PyTorch等开源框架使算法易于构建和共享，并且存在许多其他开源数据集。然而，计算能力来自硬件，是一种有限的物理资源，大公司和OpenAI等资金雄厚的研究机构更容易获得。如果OpenAI的实验证明是AI的发展方向，并且算法的扩展转化为性能改进，那么买不起高级AI的人将无法使用它。它还将允许拥有资源的大公司制定关于谁有权访问某些人工智能算法的规则。例如，他们可以利用API来设置算法的访问和使用并对其收费。“如果你确信实现更好的AI的方法实际上是实现更大的规模，那么谁拥有更多，就由OpenAI来决定AI有多好。”Raeder质疑OpenAI是否花了很多精力思考其算法可能如何被利用，是否会监控其新API的所有使用情况，以确定它是否被用于恶意目的。滥用。“OpenAI是否会查看输出以看看他们的技术是否得到了适当的使用？鉴于其目的以及与他们新的盈利模式相冲突的事实，这似乎很关键。他们能做大规模监控吗？”并非所有人都同意OpenAI的“越大越好”的方法才是人工智能发展的方向。例如，自然语言处理研究员MelanieMitchell对GPT-3进行了“模仿”测试，要求算法能够识别特定字母序列中的变化模式。如果“abc”变成“abd”，那么“efg”会变成什么？在1980年代，Michell开发了一种算法来解决这些人类一直进行的类比的微型模拟测试。为了正确地进行类比，必须理解所有组件之间的关系。在字母表示例中，算法必须知道字母表的顺序和每个字母的位置。虽然该算法在众多测试中表现良好，但Michel发现它也未能掌握其他算法几十年前就掌握的一些简单概念。Michel说：“在研究方面，我个人认为在一个问题上投入过多的计算和参数可能会让人工智能走入死胡同。如果我们的目标是制造具有通用智能的强大机器，我认为这无法取得真正的进展。”她承认，在制作需要深度学习的人工智能产品时，巨大的计算能力给科技巨头带来了优势，但反过来说，并非所有的现代问题都需要耗能的深度学习算法。每个问题都需要达到GTP-3规模。在测试该算法时，米切尔写道：“GPT-3的性能令人惊叹，但它也类似于当今最先进的人工智能系统中发生的大部分事情：看似智能的性能混合了一些非人为错误，我们可以弄清楚为什么它做得好或犯错误。》本文转载自微信公众号“读芯”，您可以通过以下二维码关注。转载本文请联系芯读公众号。
