“ChatGPTBuster”,升级!没错,就是之前华裔小弟EdwardTian打造的GPTZero,可以在几秒内判断出文字是人写的还是AI写的。时隔近一个月,弟弟推出的版本叫做GPTZeroX,他还说:这是专门为教育工作者打造的AI模型。消息一出,顿时吸引了大批网友的围观。一天之内,有40万次访问和220万次服务请求。那么这一次,这位“ChatGPT克星”又带来了哪些新能力呢?混写也可以测试,还支持Word等格式升级。GPTZeroX的一大特点是可以检测“人+AI”的混合书写内容。比如,我们先把一段人写的新闻扔到测试中:GPTZeroX很快就给出了答案,几秒钟就给出了答案:你的文字很可能完全是人写的。您的文本很可能完全由人编写。人写的。接下来,我们把ChatGPT写的一段文字扔到刚才的新闻后面,做个混合测试:这次GPTZero给出的答案是:你的文字包含AI写的部分。您的部分文本是由AI编写的。并且ChatGPT生成的内容也会以黄色高亮显示。小哥说:这是教育工作者一直想要的关键功能。但是老师在检查学生作业的时候,一段一段的复制粘贴课文是相当繁琐的。于是乎,这位小哥还贴心地推出了另一个新功能——可以批量导入文件,支持Word、PDF和TXT格式。而网站在介绍这个功能的时候是这样描述的:另外,为了防止服务崩溃,小哥还做了一个PythonAPI,就是已经完成压力测试的那种。最后小哥还贴心的说了一句:我保证本站将一直免费对个别教师和教育工作者开放!你是怎么做到的?它主要靠“困惑度”,即以文本的“困惑度”为指标来判断给定内容是谁写的。NLP领域的朋友都知道,这个指标是用来评价一个语言模型的好坏的。这里,每当你给GPTZero喂一段测试内容,它就会计算:1.总文本困惑度的值越高,它就越有可能是人类写的。2.Averageperplexityoverallsentences句子越长,这个值通常越低。3.每句话的困惑度以条形图的形式呈现,鼠标悬停在每个方块上可以查看对应的句子(这里只放两个方块,因为我此时输入的测试内容只有两个句子)。作者也解释了画这样一个条形图的原因:根据最新的研究:人类写的一些句子可能perplexity较低(前面说了,人类的perplexity比较高),但是随着你继续写下去,有bound成为困惑的尖峰。相比之下,对于机器生成的文本,困惑度分布均匀且始终很低。另外,GPTZero还会挑出混淆度最高的句子(也就是最像人的句子):反ChatGPT之势如火如荼,正所谓道高一尺,而魔高一尺,在ChatGPT充满18武功的时候,“以魔制胜魔”的工具和研究也层出不穷,比如GPTZero小弟。比如最近为了防止学生利用ChatGPT的强大功能写论文或者作弊,斯坦福大学推出了一款“反侦察”神器——DetectGPT。这种方法既不需要训练单独的分类器,也不需要收集真实或生成段落的数据集,是一种基于概率曲率的零样本方法。此外,就连OpenAI自己也和哈佛等大学联合打造了一个检测器:GPT-2OutputDetector。作者首先发布了一个“GPT-2生成的内容”和WebText(摘自国外贴吧Reddit)的数据集,让AI理解“AI语言”和“人类语言”的区别。随后,用这个数据集对RoBERTa模型进行微调,得到AI检测器。其中,人类的文字都被识别为True,AI生成的内容都被识别为Fake。(RoBERTa是BERT的改进版。原始BERT使用13GB数据集,但RoBERTa使用160GB数据集,其中包含6300万条英文新闻。)...嗯,看来ChatGPT正在取得长足进步,顺便说一句,它也推动了“反ChatGPT”研究的发展。参考链接:[1]https://twitter.com/edward_the6/status/1619874139954905090[2]https://arxiv.org/abs/2301.11305
