作者|徐结成审稿人|云昭一百万亿，这个数字有多大？如果你拥有每天中500万张彩票的超能力，那么你需要有5500年左右的寿命，才能不吃不喝地存下100万亿财富。不过，今天要和大家聊的100万亿，背后并没有“人民币”、“多洛尔”等令人垂涎的单位。这里的100万亿指的是第四代生成式预训练Transformer——GPT-4所拥有的参数数量，由多位硅谷科技大佬共同创立的人工智能研究公司OpenAI即将发布。为了让大家更容易更直观的理解这个数据，我们可以用人脑来和GPT-4进行对比。一般来说，一个正常的人脑大约有80-1000亿个神经元和大约100万亿个突触。而这些神经元和突触直接控制着一个人一百年生命中几乎所有的思想、判断和行为，而GPT-4的参数和人脑突触一样多。那么，这样一个大规模的密集神经网络有什么样的潜力；GPT-4的出现会给我们带来哪些惊喜；我们真的有能力制造人脑吗？在探讨这些激动人心的问题之前，我们不妨先看看GPT-4的几位“前辈”的发展历程。1、GPT：不打响名堂就是一鸣惊人。第一个GPT系列模型GPT-1诞生于2018年，也就是我们常说的NLP预训练模型元年。作为第一个基于Transformer的预训练模型，GPT-1采用预训练+FineTuning两阶段，使用Transformer的decoder作为特征提取器，共堆叠12层，参数1.1亿。语言模型”作为训练任务。在性能方面，GPT-1具有一定的泛化能力，可以用于与监督任务无关的NLP任务。其常见任务包括：自然语言推理：判断之间的关系两句（包含、矛盾、中性）问答和常识推理：输入文章和一些答案，输出答案的准确率语义相似度识别：判断两句话的语义是否相关分类：判断输入文本属于哪一类specifiedGPT-1虽然对未测试的任务有一定的效果，但是其泛化能力远低于fine-tuned监督任务，所以GPT-1只能算是一个不错的语言理解工具，不是会话工具AI.GPT-1问世一年后，GPT-2也如期在2019年到来。与老大哥GPT-1相比，GPT-2并没有在原有网络上进行太多的结构创新和设计，只是使用了更多的网络参数和更大的数据集：最大的模型共有48层，参数量达到15亿，学习目标对有监督任务使用无监督预训练模型。来源：推特在性能方面，OpenAI的努力似乎确实带来了一些奇迹。除了理解力，GPT-2在生成方面首次展现了强大的天赋：阅读摘要、聊天、续写、编造故事，甚至生成假新闻、钓鱼邮件或冒充他人在线。在“变大”之后，GPT-2确实展示了一系列普适而强大的能力，并在多个特定的语言建模任务上取得了当时最好的表现。难怪OpenAI当时说“GPT-2太危险了，不能发布”。自从GPT-2的成功，OpenAI对“大力士”的信念越来越坚定。2020年发布的GPT-3继续遵循微创新、快速扩张的发展思路。除了GPT-3中的Transformer采用了Sparse结构外，GPT-3和GPT-2的结构几乎没有区别。在“活力”方面，GPT-3模型达到了96层，训练参数达到了1750亿（是GPT-2的10倍以上）。而GPT-3再次证明了OpenAI的远见。由于GPT-3性能更强，参数明显更多，包含的主题文本更多，明显优于上一代GPT-2。作为目前最大的密集神经网络，GPT-3可以将网页描述转化为相应的代码，模仿人类的叙述，创作定制诗歌，生成游戏脚本，甚至可以模仿已故哲学家——预言人生的真谛。而GPT-3不需要fine-tuning，在处理语法难点方面，只需要一些输出类型的样本（学习量小）。可以说，GPT-3似乎满足了我们对语言专家的所有想象。2、完全通过图灵测试学习，降低商用门槛说到这里，相信大家会有同样的疑问——GPT-3已经很强大了，那我们还能对GPT-4有什么期待呢？众所周知，检验AI系统智能程度最核心的方法就是图灵测试。在我们无法用科学可量化的标准来定义人类智能概念的情况下，图灵测试是目前为数不多的、可行的、能够判断对方是否具有人类智能的测试方法。用一句谚语来说：如果一个东西看起来像鸭子，走路像鸭子，叫起来像鸭子，那么它就是鸭子。因此，如果AI系统能够顺利通过图灵测试，则意味着该系统已经具备了人类的思维，并可能在某些方面取代人类。据韩国IT媒体报道，从11月中旬开始，业界就传出GPT-4已经全面通过图灵测试的消息。韩国VodierAI公司高管南世东日前在接受韩国♂采访时表示：“虽然GPT-4通过图灵测试的消息还没有得到官方证实，但这个消息应该是相当可信的。”WSJOpenAI现任CEOSamAltman的技术人似乎也在他的推特上证实了这一信息。11月10日，奥特曼模仿电影《星球大战》中角色达斯·维德的经典台词，发推文称：“不要为你制造的这种科技恐慌而骄傲，通过图灵测试的能力就在‘力’中。”’在你面前，你无能为力。”图片来源：一位AI初创公司高管在推特上分析称，“如果GPT-4真的完美通过了图灵测试，那么它的影响足以在AI世界引发‘技术恐慌’，所以奥特曼会用它来实现斯维德的角色来发布这些信息。”如果GPT-4不受任何限制地通过图灵测试，它确实会创造历史。虽然之前也有一些AI模型声称通过了图灵测试，但都没有得到AI业界的一致认可。这是因为图灵测试的标准和规则并不明确，所以很多模型在测试中巧妙地利用了一些“盲点”。2014年英国雷丁大学推出的AI模型“尤金”就是一个典型例子。当时雷丁大学向评委声称模特是一名13岁的乌克兰男孩，所以当算法无法给出好的答案时，评委认为是因为受测者是外国孩子.来源：网络虽然图灵测试并不是人工智能技术的绝对参照点，但作为迄今为止最古老、最知名的人工智能技术测试，图灵测试仍然具有很大的象征意义。如果GPT-4真的正式、确定地通过了图灵测试，极有可能创造AI界迄今为止最大的里程碑。此外，与GPT-3不同，GPT-4很可能不仅仅是一种语言模型。OpenAI首席科学家IlyaSutskever在她的多模态相关文章中曾暗示过这一点——“文字本身可以表达很多关于世界的信息，但它毕竟是不完整的，因为我们也生活在视觉世界中。”因此，有业内专家认为GPT-4将是多模态的，可以接受音频、文本、图像甚至视频输入，并预测OpenAI的Whisper音频数据集将用于创建GPT-4的文本。数据。这也意味着GPT-4将不再对接收和处理外部信息有任何限制。业界之所以关注GPT-4，很可能是因为GPT-4的实际商用门槛会低于传统GPT-3。GPT-4也有望被以前因高成本和基础设施而无法使用该技术的企业使用。目前，GPT-4已进入上市最后阶段，将于今年12月至明年2月间发布。CambridgeAIResearch分析师AlbertoGarcia发表博文预测：“GPT-4将更专注于优化数据处理，因此GPT-4的学习成本有望低于GPT-3。”GPT-4的每集成本很可能会从GPT-3的数百万美元减少到大约100万美元。”3、殊途同归：模拟人脑可能会来得更早如果以上信息全部属实，那么我们可以预见，随着GPT-4的发布，明年该领域将掀起新的热潮深度学习研究；将会出现大量更高级、更自然、几乎无法辨别真伪的聊天服务机器人；在此基础上，还会有更多优质的个性化AI服务从不同的传统业务中诞生；我们也将是第一次，有可能实现认知智能的无障碍沟通。让我们回到开头提到的创造人脑或模拟人脑的问题。根据麻省理工学院的一项研究，虽然GPT-3中的神经网络并没有试图直接模仿人脑，但GPT-3呈现的语言处理与人脑进化得到的解有些相似，当向模型输入与测试人脑相同的刺激时，模型获得了与人脑相同类型的激活，并且在40多个语言模型测试中，GPT-3做出了近乎完美的推理，这些基础models的功能确实类似于人脑的语言处理中枢。对此，斯坦福大学心理学与计算机科学助理教授丹尼尔亚明斯也表示：“人工智能网络并不是直接模仿大脑，而是最终看起来像大脑，这在某种意义上表明人工智能与自然之间存在差距。似乎正在发生某种趋同进化。”图片来源：网络可以看出，虽然GPT系列模型并没有直接采用蓝脑计划中模拟大脑结构的设计思路，但它呈现出来的效果似乎比蓝脑计划更接近我们的预期.因此，如果这个研究方向真的可行，GPT-4能够在GPT-3的基础上实现某些方面的突破，那么我们离模拟人脑部分功能的目标又近了一大步。最后，我想引用OpenAICEOSamAltman最近在推特上发表的一句话作为结尾，这句话也得到了“硅谷钢铁侠”ElonMusk的认可——“通用人工智能的建立将比大多数人想象的更快，而要‘改变’大多数人想象的一切，还需要很长时间。”来源：Twitter参考链接：https://dzone.com/articles/what-c??an-you-do-with-the-openai-gpt-3-language-modhttps://analyticsindiamag.com/gpt-4-is-几乎在这里和它看起来比其他任何东西都好/https://analyticsindiamag.com/openais-whisper-might-hold-the-key-to-gpt4/
