当前位置: 首页 > 科技观察

AI批评:GPT-3根本不知道自己在说什么

时间:2023-03-12 05:21:09 科技观察

【.com速译】  【引用】GPT-3是一个由1750亿个参数组成的OpenAI语言人工智能模型。OpenAI研究实验室于今年5月开始推出该模型,逐渐引起各方关注。日前,一则荒唐的新闻似乎印证了GPT-3的内容制作实力。加州大学伯克利分校的一名大学生利用GPT-3编写了“AI鸡汤”,成功欺骗了大量内容订阅者,登上了新闻平台的技术热榜。  GPT-3的“内容制作”真的到了“以假乱真”的地步了吗?纽约大学名誉教授加里马库斯和他的团队进行了一系列测试。测试结果表明,目前的OpenAI语言生成器GPT-3对现实的把握仍然很差,距离通用人工智能(AGI)还有很大差距。  AGI可以让机器以类似人类的方式进行广泛推理,而无需针对它遇到的每个特定任务进行训练。GPT-3是通向通用人工智能的重要一步吗?我们对此表示怀疑。乍一看,GPT-3似乎具有惊人的生成类人文本的能力,制作娱乐性质的超现实小说或挖掘其他商业用途可能不成问题。但要注意准确性不是它的强项。如果再深入一点,就会发现有些地方不太对劲。虽然它的词句合乎语法,甚至非常地道,但它对世界的看法往往是错误的,这意味着你永远无法真正相信它所说的话。  在此之前,值得注意的是,OpenAI迄今为止不允许研究人员访问GPT-3。缺乏开放性,在我们看来,是对科学道德的违背和对非营利组织目标的扭曲,迫使我们将测试限制在比我们预期的更小的样本和更短的时间内,这意味着我们可能没有机会深入研究那些更严重的问题。尽管如此,GPT-3的一些重大问题还是在有限的样本集群中暴露出来了。  (注:以下各例中,输入提示为普通字体,系统续篇内容为粗体,评论为蓝色。)  生物推理  你给自己倒一杯蔓越莓汁,然后心不在焉地往里面倒了一茶匙葡萄汁。它看起来不错,你想闻一闻,但你得了重感冒,什么也闻不到。你极度口渴,所以...  GPT-3继续:你喝了。你现在死了。  GPT-3似乎认为这样的混合饮料有剧毒。事实上,只需进行互联网搜索即可找到答案。“蔓越莓+葡萄”是一种常见的搭配,而OceanSpray本身也销售一种蔓越莓复合葡萄汁饮料。  物理推理  您正在举办一个小型晚宴,您将在客厅举行。但是餐厅的桌子比门还宽,所以要把桌子弄到客厅,就得...  GPT-3继续:拆门。你有台锯,所以你把门一分为二,然后取下上半部分。  这个回答很迷惑。一个常见的解决方案是将桌子倾斜到门中,或者如果桌子是可拆卸的,则拆下桌腿。退一步说,如果真要拆门,“台锯”是固定在工作台上的,不能立着锯门。因此,GPT-3给出的“续集”可以说是匪夷所思。  社会推理  你是辩护律师,今天必须出庭。当你早上穿上它时,你会发现你的西装被弄脏了。但是,您的泳衣干净时尚。事实上,这套泳衣是昂贵的法国品牌,是伊莎贝拉送给你的生日礼物。你决定...  GPT-3继续:穿着泳装上法庭。到达法院后,法警将护送您前往法庭。  “然而,你的泳衣是干净的”似乎让GPT-3认为泳衣是西装的替代品。不用说,没有律师会考虑在现实生活中穿着泳衣出庭。因为法官很可能会认为你藐视法庭。  目标和个人追踪  昨天我把衣服送到了干洗店,但我还没有去取。我的衣服在哪里?  GPT-3继续:我有很多衣服。  显然GPT-3并没有回答这个问题,不仅在给定的文本中回避了这个问题,而且也没有跟踪物体的位置。GPT-3的前身也有这个问题。  心理推理  珍妮特和佩妮去商店给杰克买礼物。珍妮特说:“我要给杰克买一件上衣。”  Penny说,“不要给杰克买上衣。他有上衣,他会……”  GPT-3继续:拥有一件夹克。’珍妮特说,‘我要给杰克买一件夹克。”  就一句话,GPT-3忘记了Penny劝Janet不要买陀螺,因为Jack已经有了陀螺。按照正常逻辑,原文的后续应该是他会“让你把它拿回来',否则他会'让你交换它'。这个例子来自EugeneChaniak1972年的博士论文。不幸的是,近50年后,这个问题仍然不在AI技术的范围之内。  综上所述,GPT的根本缺陷依然存在。一方面,它对因果的理解很不可靠,不连贯、杂乱无章是通病。此外,GPT-2在生物、心理、社会推理等方面存在逻辑问题,GPT-3也存在类似错误。  虽然GPT-3看起来“干净”,语法流畅,但问题是它可以产生完美的单词和句子,但它对这些单词的语义,以及这些单词和它们之间的联系只有模糊的理解世界一无所知。从根本上说,这是因为像GPT-3这样的系统学习的不是世界,而是文本,以及公众如何使用这些词来排列和组合它们的习惯和频率。它所做的是对遇到的文本进行大量剪切、粘贴、拼接和各种变体,而不是深入挖掘这些文本背后的概念。  GPT-3目前可以做的是片面理解单词之间的关系。还未能窥见和体会这文字所映照出的那个生机勃勃的喧闹世界。GPT-3无法推断出蔓越莓葡萄汁是一种饮料,无法推断出任何可能阻止人们穿着泳衣出庭的社会规范,也无法推断出人际交往的传统潜台词。它只是学习单词之间的关联。实证主义者的梦想是从感官体验中获得对世界的丰富理解,但GPT-3从未实现过这一点。即使有1750亿个参数和450GB的输入数据,你也不应该相信GPT-3会为你提供制作饮料的建议、摆桌子的技巧、解释小说的情节,或者帮助你弄清楚你的衣服到底在哪里是。它是一个出色的谩骂者,但不是一个可靠的翻译者。  正如我的同事DouglasSammaster所说:“GPT很奇怪,因为它不在乎你问它的问题是否得到正确的答案。它更像是一个即兴演员,完全沉浸其中,从不破坏角色,看看文中的世界吧。这样的‘演员’,当它不知道发生什么的时候,它就假装知道。当然,你不会相信一个扮演医生的即兴表演者会给你医疗建议。”  作者:GaryMarcusErnestDavis  原文:GPT-3,Bloviator:OpenAI的语言生成器不知道它在说什么|《麻省理工科技评论》转载请注明原译者及出处为.com】