当前位置: 首页 > 科技观察

除了创造力的短板之外,GPT-3仅用了20分钟就写出了一篇及格的大学毕业论文

时间:2023-03-21 12:14:38 科技观察

GPT-3通过了论文?教育资源网站EduRef对此进行了测试,结果还不错,及格。2020年5月,OpenAI推出了GPT-3,这是历史上最大的AI模型,拥有1750亿个参数。该模型不仅可以更好地回答问题、翻译和撰写文章,还具有一定的数学计算能力。自推出以来,该模型已被应用于不同领域,例如基于问题的搜索引擎、与历史人物的对话、基于文本描述的代码生成以及绘图和图像补全等。但GPT-3的应用还远远不够fromover...最近,教育资源网站EduRef做了一个测试,他们找了一组教授来创建一个写作提示,然后让应届毕业生和本科生和GPT-3同时进行这个提示写作,最后是教授组对匿名提交的论文进行评分并对作者进行后续调查。那么结果如何呢?GPT-3能否胜过人类作者?不必要!GPT-3通过了大部分课程的笔试。俗话说:“AgradeofCcangraduate(C'sgetdegrees)”。AI远非完美,GPT-3的写作水平大致相当于一个自由撰稿人。结果表明,人类作者可以在撰写有关COVID-19疫苗功效的研究方法论文中获得B或D,而GPT-3通常只能获得C。在美国历史类别的测试中,人类作者可以获得B或美国例外主义论文上的C+,而GPT-3只能获得B-。最后在法律课的policyletter写作中,GPT-3得了B-,3个学生中只有1个能拿到高分。下图是人类作者和GPT-3在不同学科写作方面的得分:可见GPT-3的写作能力主要体现在技术文档上。在创意写作课中的placenarrativewriting课上,GPT-3只得了F,没有通过考试。相比之下,自由撰稿人获得A、B+和D+。虽然GPT-3在创意写作教授眼中失败了,但自然语言生成(NLG)软件仍然可以用来编写各种内容,包括一部差点获奖的小说《The Day a Computer Writes a Novel》。之前的成功也预示着未来的失败,GPT-3可能只需要稍作调整,就可以成为一名合格的创意作家。总的来说,AI几乎通过了每门课程的写作测试。GPT-320分钟完成论文虽然每个教授的评分都不一样,但评分团队包括两名博士和一名硕士。他们共同拥有超过55年的高中和大学各级教学经验。作家包括应届毕业生和本科生,其中一些人在他们的研究领域有书面提示。平均而言,他们需要3天才能完成任务。对于绝大多数学生来说,3天完成一篇大学论文似乎是一项艰巨的任务,主要是时间太短了,但GPT-3只用了20分钟就完成了这项任务。GPT-3使用深度学习来生成类人文本,每项任务需要3到20分钟才能完成,并且花费最长的时间来创作富有创意的书面叙述。为了避免人为干扰,GPT-3仅对输出长度和重复文本进行了轻微的编辑,其生成的内容、真实信息和语法均未受到影响。这是GPT-3生成的美国历史论文的示例:GPT-3生成类似人类的写作即使没有人为干预,GPT-3任务也或多或少地收到了与人类作者相同的反馈。49.2%的评论提到语法和句法,26.2%提到强调和细节,还有提到语气和结构,但分别只有12.3%和10.8%。这几乎与人类作家收到的评论比例相同,近50%的评论与语法和句法相关,25.4%的评论与重点和细节相关。超过13%的评论是关于人类专业知识的,而10.4%是关于整体风格等的。关于人类作者与GPT-3写作结果的评论反馈:尽管收到了相同风格的评论,但GPT-3生成的内容并非如此类似于人类作者。以排名靠前的双词组合为例,GPT-3和人类作者只共享排名靠前的组合:“ofthe”。GPT-3常用“Peoplewho”、“itis”和“thosewho”,而人类作者经常使用“tothe”、“inthe”和“onthe”。总的来说,这些词在英语中是常用的,组合上的差异表现出人工智能和人类在写作结构上的一些差异。人类作者与GPT-3写作用语差异分析:考虑到GPT-3的论文得分更高,搭配统计上的差异表明人类作者产生的独特内容明显多于AI。尽管GPT-3的产出非常出色,但它生成的论文短期内无法自行获得大学学位。在与人类作者竞争时,GPT-3取得了一些及格分数,但在创意写作方面表现不佳。虽然它在许多领域的成功为人工智能的未来带来了希望,但对于大学教授来说,人工智能仍然存在不足。