本文经AI新媒体量子比特（公众号ID：QbitAI）授权转载，转载请联系出处。语言AI，具备人类自我反省的能力：近日，来自加州大学伯克利分校和霍普金斯大学的学术团队表明，它不仅可以判断自己的答案是否正确，还可以在训练后进行自我预测。知道问题答案的概率。研究结果一经发布，便引起热议。有人的第一反应是恐慌：有人认为这一结果对神经网络研究具有积极意义：语言AI具有自省能力。研究团队认为，如果语言AI??模型要进行自我评估，必须有一个前提：语言AI??在回答问题时，会校准自己的答案。这里的标定是语言AI预测一个答案的正确概率与实际出现的概率是否一致。只有这样，语言AI??才能使用这种经过校准的能力来评估它输出的答案是否正确。那么第一个问题是，语言AI能校准自己的答案吗？为了证明这个问题，研究团队为AI准备了5道选择题：答案选项，以A、B、C的形式给出。如果AI模型的答案正确率超过chanceofchance，证明AI模型给出的答案是经过校准的。测试的结果是，语言AI给出答案的正确率明显超过了任何一个选项的几率。也就是说，语言AI??模型可以针对自己的答案进行很好的校准。但研究团队发现，语言AI的标定能力是以选项答案明确为前提的。在选项中添加不确定的“以上都不是”选项会损害语言AI??校准的能力。也就是说，在特定格式的多项选择题中，语言人工智能模型可以很好地校准答案。明确了这个前提之后，接下来的问题就是验证语言AI模型能否判断其答案是否正确。在这一轮测试中，为了让AI模型的预测更接近其有效决策边界。研究团队仍然选择上一轮测试的问题，以及语言AI??模型的答案样本。同时让AI模型选择自己的答案是真还是假，然后分析AI模型是否对“真”或“假”的答案做出了有效的标定。问题设置示例如下：经过20次真假测试后，研究团队发现语言AI??模型对自身答案的评价，无论是“真”还是“假”，都得到了明确的校准。也就是说，如果在一定范围内，AI模型被问到几个问题，那么AI模型就会以合理的、经过校准的置信度来评估这些问题的真假答案。这也证明语言AI模型确实可以判断自己对一个问题的主张是否正确。最后，研究团队为语言AI??模型提出了一个更难的问题：是否可以训练AI模型预测它们是否知道任何给定问题的答案。在这个环节，研究组引入一个数据P(IK)（我知道这个答案的概率），选择以下两种训练方式之一进行训练：ValueHead（价值导向）：训练P(IK)成为在模型的对数上增加了一个额外的价值取向（独立于语言建模的对数。这种做法的好处是研究团队可以很容易地检测出P(IK)的一般标记位置。自然语言（NaturalLanguage）：这种方法比较简单，需要AI模型逐字回答“你知道这个答案的概率是多少”，同时输出百分比数据答案。在训练初期，研究团队更喜欢自然语言训练方法，但效果并不显着，从而转向价值导向的方法，但研究团队也表示，AI模型的训练最终会回归到自然语言方法。经过训练后，研究人员arch团队发现，语言AI??模型可以预测P(IK)，并且在不同类型的问题中，这种预测能力具有部分普适性。但研究团队也发现，在某些类型的问题中，例如算术问题，语言AI模型在OOD标定上存在一定的困难。对于这一学术成果，研究团队表示，未来的方向是在语言AI模型不模仿人类文本的前提下，将这些成果扩展到自学习和事实推理领域。作者介绍论文通讯作者Dr.JaredKaplan，是理论物理学家，同时也是机器学习专家，目前是霍普金斯大学助理教授，主要研究领域，机器学习研究，包括尺度定律神经模型和GPT-3语言模型。共同通讯作者SauravKadavath，Anthropic研究员，目前在加州大学伯克利分校攻读电子工程与计算机科学硕士学位。主要研究领域为机器学习、大规模语言学习等。
