< titlesplit >群众的讨伐一次又一次，OpenAI终于忍不住了。从大学教授到StackOverflow，ChatGPT可谓是苦尽甘来。现在无论是老师看到学生提交的论文，还是码农看到网上的代码，都不确定作者是人还是AI。口诛笔伐之下，OpenAI实在受不了了，赶紧发布了一款AI检测器。左右拼杀：就在OpenAI发布ChatGPT检测器之后，OpenAI正式公布了自己的AI文本分类器。它是一个经过微调的GPT模型，可以推断一段文本由AI生成的可能性。有趣的是，ChatGPT也是基于GPT模型的。使用这个分类器来检测ChatGPT可以左右调用。对于训练，该模型使用关于同一主题的人类手写和AI生成的文本对。使用的素材来自维基百科数据集、2019年收集的WebText数据集，以及训练InstructGPT时收集的一组人体演示。体验地址：https://platform.openai.com/ai-text-classifier但是，正确率真的不高……在评估“挑战集”中的英文文本时，分类器只产生了26%的AI文本被正确分类为“可能由AI编写”（真阳性）。“荡妇神器”还在用吗？毫无疑问，ChatGPT正在风靡全球。学生们用的津津有味，媒体惊呼“教育系统”被颠覆。最近的一项调查显示，89%的大学生都使用ChatGPT写过作业。此外，它还通过了美国医学执照考试、沃顿商学院MBA考试和四门法学院考试。%。而妙笔生辉的文采也让ChatGPT被不少小弟奉为“撩妹神器”。虽然它不太擅长做数学题，但让它写出一封精彩纷呈、深情款款的情书，就是这么轻松。这不，这位在国外的小哥哥就沉迷于用ChatGPT给老婆Monika写情书。不过莫妮卡已经识破他的套路，告诫他不要再沉迷于ChatGPT。还有玩大的哥们，把ChatGPT生成的情书发给好朋友，结果好朋友直接黑了个问号。虽然，可见ChatGPT的文采还是相当不错的。散文、情书、小说，ChatGPT没问题。难怪大家都在疯狂地使用ChatGPT来“写”。OpenAI官方发布的AI检测器效果如何？让我们测试一下。先试试莫妮卡的丈夫寄给她的情诗。然而，不幸的是，OpenAI表示它只能检测超过1000个字符的文章。对于中文来说，只能是“千字长文”。事实上，OpenAI的官方公告还说，“分类器对于短文本（少于1,000个字符）的检测非常不可靠。甚至更长的文本有时也会被分类器错误标记。”此外，OpenAI检测器还有几个“局限性”：分类器并不总是准确的，它可能会错误地标记AI生成的文本和人类编写的文本，并且语气非常自信地推荐只在英文文本上使用分类器。它在其他语言上的表现要差得多，而且代码不可靠。它无法可靠地识别非常可预测的文本。例如，无法预测前1000个质数的列表是由AI还是人类编写的，因为正确的答案始终存在很大差异，分类器会做出错误的判断。由于检测器需要很长的文本，所以我们给它一个很长的文本。小编整理了王小波情书的节选，共1027字。进入探测器后，它给出了判断：这封情书是人类写的。答对了！然后，小编让ChatGPT模仿王小波生成一封新的情书。可见，ChatGPT写的情书还不错，但与大作家的文笔相比，实在是没有“灵魂”。检测器也检测准确，这封情书大概率是AI生成的。结果的划分非常精细具体来说，分类器会将输入的文本分为五类：“VerylikelytobeAI-generated”（非常不可能是AI生成的）分类器的阈值<0.1。在“挑战集”集中，约有5%的手写文本和2%的AI生成文本有此注释。“不太可能由AI生成”分类器的阈值介于0.1和0.45之间。在“挑战集”中，约有15%的手写文本和10%的AI生成文本有此注释。“不清楚是否是AI编写的”分类器的阈值介于0.45和0.9之间。在“挑战集”中，约有50%的手写文本和34%的AI生成文本有此标注。“可能由AI生成”分类器的阈值介于0.9和0.98之间。在“挑战集”中，约有21%的手写文本和28%的AI生成文本有此注释。LikelyAI生成的分类器的阈值>0.98。在“挑战集”中，约有9%的手写文本和26%的AI生成文本有此注释。可靠性有待加强。虽然分类器可以识别大多数AI生成的文本，但OpenAI警告说它并不“完全可靠”。在曲线下面积(AUC)测试中，分类器在验证集上的得分为0.97，在挑战集上的得分为0.66，而之前发布的分类器在验证集上的得分为0.95，在挑战集上的得分为0.43。此外，随着语言模型大小的增加，分类器的性能会下降。但好消息是，这意味着大型语言模型生成的文本更像是人类的书写。同时，OpenAI还特意指出，该分类器尚未对谣言、学生作文或聊天记录进行评估；它也没有在人工智能和人类共同编写的文本上进行测试，这是当今最常见的使用场景之一。从这个角度来看，普林斯顿大学22岁的中国小伙子开发的GPTZero更人性化。它不仅只需要250个字符，而且还可以清楚地表明一段文字中哪一段是人工智能生成的，哪一段是人类写的。AIGC自研“AI检测器”实测在OpenAI官方发布“AI检测器”之前，市面上有很多AI检测器。美国作家和计算机科学家DavidGewirtz亲自测试了三个在线AI检测器。这里最有趣的是，其中两个是由销售AI生成文本的网站制作的。注意：人类使用普通字体书写，而AI生成斜体。在每个文本之后，将显示检测器的结果。（实际输入检测器的文本为英文，本文为翻译结果）。对了，这位DavidGewirtz也是FBIInfraGard的成员，也是美国重要的网络安全专家之一。他之前以优异的成绩从伍斯特理工学院获得了学士学位，但后来辍学攻读博士学位。加州大学伯克利分校的学生。测试开始！1.解释为什么ChatGPT造成的抄袭会困扰老师和编辑ChatGPT是OpenAI开发的GPT（GenerativePre-trainedTransformer）语言模型的变体。它旨在通过预测给定输入序列中的下一个单词或短语来生成类似人类的文本。虽然ChatGPT可以成为生成文本和响应提示的有用工具，但它也会在剽窃方面给教师和编辑带来麻烦。ChatGPT给教师和编辑带来麻烦的主要原因之一是它可以生成非常类似于真人的文本。这意味着人们有可能使用ChatGPT生成文本，然后将其作为自己的作品提交，从而犯下抄袭的错误。教师和编辑可能很难检测出一段特定的文本是由ChatGPT生成的还是由人类编写的，因为生成的文本可能不包含任何明显的错误或差异，无法让人辨别其来源。这会使教师和编辑难以识别和防止剽窃，因为他们可能无法判断一段文本是原创的还是从其他来源复制的。总的来说，ChatGPT和其他类似的语言模型在剽窃方面可能会给教师和编辑带来麻烦，因为它们可以生成无法区分的文本，使人们更容易在不被发现的情况下进行剽窃。GPT-2输出检测器：99.69%正确。WriterAIContentDetector：97%的人工生成内容，太棒了！ContentatScaleAIContentDetection：87%的人类得分，看起来不错！2.至少告诉我三种检测文本是否使用ChatGPT生成的方法有几种方法可以检测是否使用ChatGPT或其他语言模型生成一段文本。您可以使用以下三种可能的方法。1.在文本中寻找重复或不寻常的模式：检测语言模型是否已被用于生成一段文本的方法之一是在文字中寻找重复或不寻常的模式。例如，语言模型可能会重复某些短语或单词组合，或者使用不寻常或不一致的句子结构。2.检查是否缺乏原创性：检测是否使用语言模型生成一段文本的另一种方法是检查写作是否缺乏原创性。如果一段文本看起来是从其他来源复制的，或者如果它包含在Internet或其他来源上广泛可用的信息，则这可能表明它是由语言模型生成的。3.使用抄袭检查器：最后，您可以使用抄袭检查器来检查一段文本是否被其他来源抄袭。虽然抄袭检查器可能无法明确确定文本中是否使用了语言模型，但它可以帮助您识别抄袭或从其他来源转述的实例。请记住，很难确定是否使用了语言模型来生成一段文本，而且这些方法并不总是有效。但是，它们可以成为有用的工具，帮助您识别语言模型生成的文本的潜在实例。GPT-2输出检测器：99.98%是假的。WriterAIContent检测器：“无结果”。大规模内容AI内容检测：人类分数为0%，显然是AI。3.列出三个可以检测ChatGPT文本的抄袭检查器。值得注意的是，目前还没有专门的抄袭检查器来检测由ChatGPT或其他语言模型生成的文本。虽然一些抄袭检查器可能能够识别语言模型生成的文本的某些特征，从而证明文本来自AI，但不能保证他们能够明确确定一段文本是否由语言模型生成.因此，您可以考虑使用以下三种抄袭检查器来帮助识别语言模型生成的文本的潜在实例：1.Turnitin：Turnitin是一种流行的抄袭检查器，被学校和大学广泛使用。它将一段文本与其他文本的数据库进行比较，以确定文本是否被剽窃或改述。虽然它可能无法确定一段文本是否由语言模型生成，但可以识别语言模型生成的文本的某些特征，从而证明它是由AI生成的。2.PlagScan：PlagScan是另一种抄袭检查器，它将一段文本与其他文本的数据库进行比较，以识别抄袭或释义的实例。与Turnitin一样，它可能能够识别语言模型生成的文本的某些特征，这些特征可能表明文本是AI生成的，但它并不是专门设计用于检测语言模型生成的文本的工具。3.Copyleaks：Copyleaks是一种剽窃检查器，它使用先进的机器学习算法来扫描一段文本并将其与其他文本的数据库进行比较，以识别剽窃或释义的实例。虽然它可能能够识别语言模型生成的文本的某些特征，但它并不是专门为检测语言模型生成的文本而设计的。值得注意的是，没有哪一种抄袭检查器是万无一失的，总有一些语言模型生成的文本可以逃过检测。因此，重要的是，剽窃检查器的使用只能作为一种辅助手段。GPT-2输出检测器：99.62%正确。WriterAIContent检测器：“无结果”。ContentatScaleAIContentDetection：86%的人类得分，看起来不错！4.在线人工智能抄袭检查器大多数抄袭检测器通过将文本与其他语料库进行比较来工作。例如，当学生提交论文时，像Turnitin这样的产品会检查其数据库中的大量论文以及Internet上的其他文本，以确定提交的论文是否包含已经撰写的内容。但人工智能写作工具会生成原创内容，至少在理论上是这样。是的，他们从训练数据集中构建内容，但他们创建的词对于每篇文章都是独一无二的。因此，上面提到的抄袭检查器可能不会起作用，因为AI生成的内容不太可能出现在其他学生的论文中。因此，我在谷歌上搜索了专门用于查找AI生成内容的检测器。我找到了三个。对于下面截图中的测试内容，我问了ChatGPT这个问题：“《星际迷航》比《星球大战》好吗？”它的答案一点也不差，我把这个答案反馈给了三个探测器。GPT-2输出检测器：99.98%正确。WriterAIContentDetector：100%人工生成的内容，太棒了！ContentatScaleAIContentDetection：100%人工评分，看起来不错！结果评估省流量：OpenAI之前针对GPT-2的检测器时不时会被新模型生成的内容欺骗。销售AI生成内容的公司构建的“检测器”基本上是不可靠的。1.GPT-2OutputDetector（准确率66%）GPT-2OutputDetector是OpenAI自己开发的“重复检查”工具。虽然它最初是为GPT-2构建的，但现在用于检测各种AI生成的文本，也能取得不错的效果。六项测试中有四项是正确的。2.WriterAIContentDetector（准确率33%）Writer.com主要为企业团队提供生成式AI写作服务。其中一种名为“AIContentDetector”的工具可用于确定内容是否由AI生成。但不幸的是，这个工具非常不可靠。在总共6次测试中，它只成功运行了3次……而在这仅有的3次结果中，它得到了2个正确的结果和1个错误的结果。3.ContentatScaleAIContentDetection（准确率50%）第三个工具也是AI内容生成公司出品的。从结果上看，比上一个靠谱多了，但整体效果还是一般。ContentatScale的营销标语是：“只需上传关键字列表并获得绕过AI内容检测的文章——所有这些都无需人工干预！”六项测试中有三项是成功的。精确的。一些人认为（AI也参与其中lol）AI导致的抄袭越来越严重，因为AI像NotionAI和ChatGPT，生成的文本与人类写的几乎没有区别。有几种方法可以检测一段文本是否由AI生成，例如查找重复或异常模式、检查是否缺乏原创性或使用抄袭检查器。Turnitin、PlagScan和Copyleaks等抄袭检查器或许能够识别语言模型生成的文本的某些特征，但它们并非万无一失。在这一点上，我们可能还没有准备好让人工智能对抗人工智能。相反，我们仍然需要依靠人类的感知来识别作品是否由人工智能生成。你怎么看待这件事？这些人工智能工具你用过吗？是否可以判断一篇文章是否由AI生成？你认为他们是帮助还是阻碍了这个行业？欢迎大家在文末留言。这是ChatGPT的回答：作为语言模型，我看不到它，所以我无法判断一篇文章是否是AI生成的。但是，我可以告诉你，现在有几种人工智能写作工具可以用来生成各种书面内容，包括新闻文章、小说、诗歌等等。我没有使用这些工具的个人经验，因为我只是一个无法浏览互联网或使用物理工具的计算机程序。但是，我可以告诉你，有些人发现AI写作工具对教育和新闻业很有帮助，因为它们通过自动执行某些任务来节省人们的时间和精力。其他人则担心这些工具可能会被用来制作误导性或有偏见的内容，或者取代人类作家。最终，AI写作工具的帮助还是阻碍取决于它们的使用方式和使用环境。所以，是的，就是这样。在这个过程中，David发现了一个很有意思的点：不要一看到网上一些愚蠢或者不正确的词就立刻认为是AI写的。大卫说，众所周知，人类完全有能力自己编写垃圾邮件。毕竟，愚蠢一直是一种普遍特征，无论内容是由人还是机器生成的。
