这两天，图灵奖得主YannLeCun心态崩了。自从ChatGPT大火以来，微软一直与OpenAI站在一起。被打脸的谷歌对“声誉风险”只字未提。它所有的语言模型，无论是LaMDA、DeepMind的Sparrow，还是ApprenticeBard，都可以加速上架。随后，他又向Anthropic投资了近4亿美元，希望能早日帮出自己的OpenAI。（我也想要微软有的。）然而，有一个人看着微软和谷歌领先，却只能仓皇跳来跳去。这个人就是Meta的首席AI科学家——YannLeCun。他在推特上很不爽：“ChatGPT满嘴胡言乱语，你们还这么能忍，我的卡拉狄加才出来三天，就被你们在线下骂了。”谁这么酸我就不说了作为深度学习三巨头之一、图灵奖获得者，LeCun的一举一动都非常吸睛。1月27日，在Zoom的媒体和高管小型聚会上，LeCun对ChatGPT发表了令人惊讶的评论：“就底层技术而言，ChatGPT并没有那么伟大的创新。虽然在公众看来，它是革命性的，但我们知道它是一款精心制作的产品，仅此而已。”“除了谷歌和Meta之外，还有其他六家初创公司基本上拥有非常相似的技术。”此外，他还表示ChatGPT使用的Transformer架构是谷歌提出的，其使用的自监督方式正是他所提倡的，那时候OpenAI还没有诞生，此话一出，公众一片哗然，OpenAI的CEOSamAltman怀疑他是因为这句话直接解雇了LeCun。随后，LeCun继续和所有的推特网友聊天。1月28日，LeCun发推文，“Largelanguagemodels没有物理直觉，他们受过文字训练。如果他们可以从大量的联想记忆中检索到类似问题的答案，他们可能会正确回答物理直觉问题。但他们的答案也可能是完全错误的。”2月4日，LeCun再次发推，更直言“在通往人类级别AI的道路上，大语言模型是一条弯路。”激动的他们赶紧跑到评论区留言，LeCun接着补充道：“LLM靠自动回归和反应来预测下一个词是不好走的路，因为他们既不会计划也不会推理。”“但SSL预训练Transformer是解决方案，因为它所在的真实系统具有推理、计划和学习的能力。”LeCun举了一个有趣的例子：他在参加一个播客时，展示了ChatGPT的回答，看起来很有道理，其实是非常错误的。不过楼主看完ChatGPT的回答后，第一时间并没有发现错误。LeCun对此解释说：“我们的思维方式和对世界的感知使我们能够预测即将发生的事情。这是我们常识的基础，而LLM不具备这种能力。”他再次发推文说：“在我们可以制造人类级别的人工智能之前，我们需要制造猫/狗级别的人工智能。现在我们甚至做不到。我们错过了一些非常重要的东西。你知道，即使是宠物cat它们比任何大型语言模型都具有更多的常识和对世界的理解。”在留言区，有网友毫不客气地抨击LeCun：“你错了，我自己测试过，卡拉狄加的错误率接近100%，而ChatGPT的错误率在15%左右。”针对网友的批??评，LeCun再次发推表态：“我从没说过大语言模型没用，其实我们Meta也推出了卡拉狄加模型，只是不像ChatGPT那么幸运。ChatGPT是满嘴胡言乱语，倒是你这么能忍，我的格拉卡提卡才出来三天，就被你骂到线下了。”对此，有网友在评论区调侃道：“你可以牛逼啊，要不你回实验室把你说的做出来吧。”LeCun回复道：“今天是星期天，推特辩论是我最喜欢的周末消遣。”自己的模型只活了3年田乐存这么不爽可以理解，去年11月中旬，Meta的FAIR实验室提出了Galactica模型，可以生成论文，生成百科词条，回答问题，完成化学式的多模态任务Galactica生成的论文LeCun也在推特上开心地发文称赞，说这是根据学术文献训练出来的模型，给它一段话，它就能生成一篇结构完整的论文。不过因为卡拉狄加满嘴跑火车，才上线短短三天，就被网友喷到线下，LeCun转发了PaperswithCode的通知，还像是“大发牢骚”一样说：“现在我们不能再愉快的玩卡拉狄加了，你开心吗？”虽然卡拉狄加的demo才上线几天，但那时候用户有种临危不乱的感觉。有网友告诫：想想同学们会用这个“写论文”的神器。有网友表示，“卡拉狄加模型的回答充满错误、遗漏和偏见，但语气却非常自信和权威，这也太吓人了。”Marcus还表示，这种大型语言模型可能会被学生用来糊弄老师，这非常令人担忧。这熟悉的公式，熟悉的味道，真是让人感慨：卡拉狄加带来的恐慌和质疑，不正是后来ChatGPT所经历的吗？看着这段历史重演，却有着截然不同的结局，乐存的酸楚说不上来。那为什么ChatGPT能在质疑声中越来越火，卡拉狄加却只能被骂下线惨？首先，卡拉狄加是由Meta提出的，大公司确实比OpenAI这样的小型初创公司面临更多的“声誉风险”。此外，OpenAI的产品定位策略非常巧妙。从ChatGTP的名字就可以看出它的主要概念是聊天。你可以和它聊知识、聊论文，但既然是“聊”，自然也就可以放下了。谁规定聊天一定要“准确”、“严谨”？但格拉狄加不一样。它的官方定义是：“这是科学研究的典范”。“它是一种受过人类科学知识训练的人工智能。你可以将它用作一个新的界面来访问和操纵我们对宇宙的知识。”当然，这给自己埋下了一个大雷，虽然从技术角度来说，ChatGPT并没有太多的创新点，但是从产品运营的角度来看，OpenAI此举是非常好的，为什么LLM要胡说八道呢？So，why大语言模型是不是满满的都是废话？在LeCun点赞的一篇文章中，作者解释道：“我尝试使用ChatGPT来帮助写博文，但都以失败告终。原因很简单：ChatGPT经常制造很多虚假的“事实”。自然语言不等于知识。要知道LLM的设计目的是让自己在与其他人交谈时听起来像人，他们很好地实现了这个目标。但是问题是，听起来自然和评估信息的准确性是两个截然不同的事情。那么，如何解决这个问题呢？举个例子，我们可以利用一台已经对物理理解进行编码的机器——物理引擎：修改LLM以便它可以识别出问的是物理问题将问题转化为物理场景使用物理引擎模拟场景，用文字描述场景的输出。对于“假论文问题”，我们也可以使用类似更正。也就是说，让ChatGPT意识到它被问及一篇科学论文，或者它正在写一篇关于一篇论文的东西，并迫使它在继续之前咨询一个可信的数据库。但是请注意，如果你这样做了，就意味着你在LLM上嫁接了一个特定的额外“思维”。还有很多特殊情况需要考虑。在这一点上，人类工程师知道真相从何而来，但LLM却不知道。此外，随着工程师将越来越多的这些修复程序嫁接在一起，LLM并不是通用人工智能的一种形式变得越来越清楚。无论人类的智慧是什么，我们都知道它不仅仅是能说会道的能力。人类语言的多种用途为什么人类要互相交谈，或为彼此写东西？目的之一是直接传达事实信息，例如“我在商店”、“没插电”等，但这远不是我们使用语言的唯一原因：说服、请求、命令、指令传达情感以娱乐他人（包括小说、笑话等）、自娱自乐、欺骗（说谎）、建立关系（与朋友建立联系、调情）……可见人类交流的目的是多种多样的.而且，我们通常不会在写作内容中指明其目的是什么，作者和读者对这些内容的作用也有不同的认知。如果ChatGPT想要成为一个值得信赖的事实传播者，它可能必须学会如何区分它训练的人类写作的各种目的。也就是说，它必须学会不把废话当回事，将说服和宣传与客观分析区分开来，独立判断消息来源的可信度与其受欢迎程度，等等。即使对于人类来说，这也是非常困难的一招。研究表明，虚假信息在Twitter上的传播速度比准确信息快数倍——通常更具煽动性、娱乐性或看似新颖。那么问题来了，为什么生成式人工智能在计算机代码上表现如此出色？为什么编写功能代码的准确性不能转化为传达事实的准确性？一个可能的答案是计算机代码是功能性的，而不是交流性的。用正确的语法写一段代码会自动执行一些任务，而用正确的语法写一个句子不一定能完成任何事情。此外，很容易将计算机代码的训练语料库限制为“好”代码，即完美执行其预期目的的代码。相比之下，几乎不可能生成能够成功实现其目的的文本语料库。因此，为了训练自己成为可靠的事实交流者，LLLM必须完成比训练自己编写功能性计算机代码更艰巨的任务。不知道一个工程师要建立一个可以区分事实和废话的LLM有多难，但即使对人类来说也是一项艰巨的任务。Marcus：LeCun在世纪和解中的一系列言论让大家疑惑：这不就是Marcus会说的吗？热（chi）情（gua）网友纷纷@Marcus，期待他对此事的犀利评论。长期饱受GPT折磨的Marcus自然喜出望外，第一时间转发了LeCun的帖子，并评论“晕倒100次”。Marcus也在自己的博客上发文，回顾了自己与LeCun的“爱恨情仇”。Marcus说他和LeCun是??多年老友，但因为卡拉狄加反目成仇。事实上，马库斯和乐存斗了好几年，不仅仅是因为卡拉狄加的下线。与另外两位图灵奖获得者Bengio和Hinton的相对低调不同，近年来，LeCun也因活跃在社交媒体上而在AI圈内小有名气。在Arxiv挂掉之后，很多职位第一时间就在推特上发布了招聘广告。同样高调的马库斯，一直将推特视为自己的主场。当LeCun的宣传和Marcus的观点发生冲突时，双方都没有保留的意思。在社交媒体上，两人可谓是到了打架就要吵架的地步。彼此都不客气，甚至一见面还可能直接掐上对方。再来说说梁子，LeCun在2019年与Hinton和Bengio获得图灵奖后，有一张合影。本来，Marcus是站在LeCun身边的，但是在LeCun分享的照片中，Marcus被无情的砍断了。然而，ChatGPT的诞生改变了这一切。ChatGPT炸了，三天后卡拉狄加下架。当LeCun疯狂输出给LLM的时候，看到这一幕Marcus自然是乐开了花。俗话说，敌人的敌人就是朋友。不管LeCun的这番言论是对自家产品失败后的清醒认识，还是对顶级竞品现状的羡慕，Marcus都愿意火上浇油。Marcus认为他和LeCun同意的不仅仅是LLM的炒作和局限性。他们都同意西塞罗值得更多关注。最后，Marcus@见得知乎有知识的人，并表示“是时候给家人发福利了”。可以说，LeCun在推特上掀起的骂战，不仅为Marcus的反GPT大军增添了一员强将，也让他们有了握手言和的机会。从这个角度来看，或许马库斯才是最终的赢家。
