当前位置: 首页 > 科技观察

用ChatGPT写论文靠谱吗?有学者试用:漏洞百出,却是注水的“好”工具

时间:2023-03-20 19:46:40 科技观察

ChatGPT,强大的文字创作能力,直接问鼎地表最强问答模型。但强大的AI也会带来一些负面影响,比如在问答社区郑重其事地写错答案,帮助学生写论文等等。最近arXiv上的一篇论文引起了业界的关注。西班牙圣地亚哥德孔波斯特拉大学的研究人员撰写了《人工智能在药物发现中的挑战、机遇和策略》一书。原因是作者使用ChatGPT辅助论文写作。论文链接:https://arxiv.org/abs/2212.08104作者团队在摘要的最后一段“来自人类作者的笔记”(Notefromhuman-authors)中声明,创建这篇论文是为了测试ChatGPT(一种基于基于聊天机器人的GPT-3.5语言模型)可以帮助人类作者撰写评论文章。作者设计了一系列指令作为文本生成的初始提示,然后评估自动生成的内容。经过彻底审查后,人类作者实际上重写了手稿,以努力在原始提案和科学标准之间保持平衡。文章最后讨论了使用人工智能实现这一目标的优势和局限性。但是还有一个问题,为什么作者列表里没有ChatGPT?(手动狗头)论文写作方法本文借助于2022年11月30日发布的自然语言处理系统ChatGPT生成,由OpenAI用大文本语料训练,可以根据提供给的输入生成文本它。类似于人类书写的文本。就本文而言,人类作者提供的输入包括论文的主题(人工智能在药物发现中的应用)、要考虑的章节数以及每章的具体提示和说明。ChatGPT生成的文字需要人工编辑后才能定稿,更正和丰富内容,避免重复和不一致;人类还需要修改人工智能建议的所有参考资料。这项工作的最终版本是人类作者在人工智能的帮助下反复修改的结果。直接从ChatGPT获得的初步文本与手稿当前版本的总体相似度为:完全相同为4.3%,微小变化为13.3%,相关显着性为16.3%。在直接从ChatGPT获得的初步文本中,正确引用的比例仅为6%。ChatGPT生成的原始版本以及用于创建此版本的输入信息作为插图包含在DALL-E生成的支持信息论文的摘要中。论文内容论文共包括10个section,56篇references,其中section1-9只包含1-2paragraphs,主要描述与论文题目“Challenges,OpportunitiesandStrategiesofArtificialIntelligenceinDrugDiscovery”相关的内容;第十部分主要讨论“人类作者对ChatGPT和基于AI的科学写作工具的专家意见”;只有文章的摘要部分包含插图。摘要人工智能有可能彻底改变药物发现过程,提供更高的效率、准确性和速度。然而,人工智能的成功应用取决于高质量数据的可用性、伦理问题的处理以及对基于人工智能的方法的局限性的认识。本文回顾了人工智能在该领域的优势、挑战和缺点,并提出了克服当前障碍的可能策略和方法。文章还讨论了数据增强的使用、可解释的人工智能、人工智能与传统实验方法的结合,以及人工智能在医学研究中的潜在优势。总的来说,这篇综述强调了人工智能在药物发现中的潜力,并提供了对实现其在该领域潜力的挑战和机遇的洞察。人类作者对ChatGPT和基于AI的科学写作工具的专家意见ChatGPT是一个基于GPT-3.5语言模型的聊天机器人,其设计目的不是成为科学论文写作的助手,而是与人类进行连贯的对话并讨论一个问题广泛的主题。科学界对这个对象提供新信息的能力,以及纠正甚至生成计算代码的能力感到惊讶。因此,我们决定通过对AI算法在药物发现中的作用进行简短审查来测试其潜力。作为撰写科学论文的助手,ChatGPT有几个优势,包括能够快速生成和优化文本,以及帮助用户完成多项任务,包括组织信息,甚至在某些情况下连接想法。但是,此工具绝不是生成新内容的理想工具。输入指令后,需要人工对人工智能生成的文本进行修改,而且是大规模的编辑修正,包括替换几乎所有的引用,因为ChatGPT提供的引用显然是不正确的。这也是ChatGPT目前的一个大问题,与其他计算工具(如搜索引擎)相比,它有一个关键的区别,主要是为所需信息提供可靠的参考。使用基于AI的写作辅助工具还有另一个重要问题:它是在2021年接受培训的,因此它不包含最新信息。这个写作实验的结果是,我们可以说ChatGPT不是一个有用的工具,可以在没有强烈人工干预的情况下编写可靠的科学文本。ChatGPT缺乏准确充分传达复杂科学概念和信息所需的知识和专业技能。此外,ChatGPT使用的语言和风格可能不适合学术写作,人工输入和审查对于生成高质量的科学文本至关重要。这种人工智能还不能用于制作科学文章的主要原因之一是它缺乏评估处理信息的真实性和可靠性的能力。因此,ChatGPT生成的科学文本必须包含虚假或误导性信息。同样重要的是要注意,审稿人可能会发现很难区分人类撰写的文章和该AI撰写的文章。这需要一个彻底的审查过程,以防止发布虚假或误导性信息。真正的风险是,掠夺性期刊可能会利用科学文章的快速生成来生成大量低质量的内容,而掠夺性期刊通常受利益驱使而非对科学进步的承诺,并且它们可以使用人工智能来快速生产文章,使不合标准的研究充斥市场并破坏科学界的信誉。最大的危险之一是科学文章中虚假信息的潜在扩散,这可能导致科学企业本身的贬值,而对科学研究的准确性和完整性失去信任会对科学进步产生不利影响。有几种可能的解决方案可以减轻与使用AI制作科学文章相关的风险。一种解决方案是开发专门用于生成科学文章的AI算法。这些算法可以在高质量、经过同行评审的研究的大型数据集上进行训练,这将有助于确保它们生成的信息的真实性。此外,可以对这些算法进行编程以标记可能存在问题的信息,例如引用不可靠的来源,这将提醒研究人员需要进一步审查和验证。另一种方法是开发能够更好地评估其处理信息的准确性和可靠性的人工智能系统。这可能涉及在高质量科学文章的大型数据集上训练AI,并使用交叉验证和同行评审等技术来确保AI产生准确且值得信赖的结果。另一种可能的解决方案是针对在科学研究中使用AI制定更严格的指南和法规,包括要求研究人员披露他们在文章制作中使用了AI,并实施审查程序以确保AI生成的内容符合一定的质量和要求。精度标准。此外,它可能包括要求研究人员在发布之前彻底审查和验证人工智能生成的任何信息的准确性,以及对那些不这样做的人进行处罚,教育公众了解人工智能的局限性以及依赖人工智能应对潜在危险科学研究也可能有助于防止错误信息的传播,并确保公众能够更好地区分可靠和不可靠的科学信息来源。资助机构和学术机构可以通过提供培训和资源来帮助研究人员了解该技术的局限性,从而在促进人工智能在科学研究中负责任地使用方面发挥作用。总体而言,解决与在科学文章制作中使用人工智能相关的风险需要结合技术解决方案、监管框架和公共教育。通过实施这些措施,我们可以确保人工智能在科学界的使用是负责任和有效的。研究人员和政策制定者必须仔细考虑在科学研究中使用人工智能的潜在危险,并采取措施减轻这些风险。在可以信任人工智能产生可靠和准确的信息之前,它在科学界的使用应该谨慎,人工智能工具提供的信息必须使用可靠来源仔细评估和验证。参考:https://arxiv.org/abs/2212.08104