长期以来，许多学者认为深度学习和人工神经网络的灵感来自于人脑。例如，神经元之间的连接由人工神经网络中节点之间的权重表示。正值表示兴奋性连接，负值表示抑制性连接。所有输入都经过加权和加权求和（线性组合），然后，范围输出由激活函数控制。例如，可接受的输出范围通常在0到1之间，也可以在-1到1之间。从某种意义上说，人工神经网络确实粗略地模仿了大脑底层神经元的活动。算力“陷阱”2016年，AlphaGo横空出世，以4:1战胜李世石，震惊了所有人。但不可忽视的是，DeepMind训练AlphaGo时，花费了约3500万美元！后来DeepMind想训练一个玩《星际争霸II》游戏的模型（后来的AlphaStar），尝试了很多方法搭建模型，但最终训练成本还是太高。近年来，自然语言处理领域掀起了一股“大模型”热潮。2018年，谷歌提出了令所有人惊叹的3亿参数BERT模型，将自然语言处理推向了前所未有的新高度。随后，OpenAI在2019年初推出了15亿参数的GPT-2，Nvidia推出了83亿参数的Megatron-LM，110亿参数的谷歌T5模型，170亿参数的微软Turing-NLG模型。这些模型一次又一次地不断刷新参数量表的数量级，而2020年GPT-3的出现成为了这个数量级的分界线。GPT-3，拥有1750亿个参数，参数规模达到1000亿，接近人类神经元的数量。它可以作诗、聊天、生成代码等等。就在近日，微软与英伟达联合发布了Megatron-Turing自然语言生成模型（MT-NLG），拥有5300亿参数，获得了单一Transformer语言模型界“最大”和“最强”的称号。这种对模型参数和训练算力的极致追求，究竟是通向AGI的“必由之路”，还是大公司强调技术实力的“趋之若鹜”？麻省理工学院的一项新研究可能会给出答案。计算=认知？不！人类的认知可能与计算没有任何关系。心智计算理论（TheComputationalTheoryofMind）是一个根深蒂固的理论，始于40年代初期芝加哥的WarrenMcCulloch和WalterPitts的工作，后来在麻省理工学院，JeromeLettvin和Humberto也加入了这方面的研究问题。大脑的判断是基于计算的，很多人都这么认为。但在人类历史进程中，许多错误的理论有时会盛行数十年。你所想的就是你所想的吗？例如，燃烧的“燃素”理论。从1667年开始的一个多世纪以来，大多数科学家认为不同的物质之所以能够燃烧，是因为有一种共同的物质，后来被称为“燃素”。燃素可以通过火消散到空气中。空气吸收燃素的能力是有限的，所以只要有少量的空气，火就会熄灭。直到19世纪末，牛顿经典物理学主导了对宇宙中可直接观测物体运动规律的解释和描述。但到了20世纪初，爱因斯坦的理论引发了两次革命，相对论和能量都被量子化，并催生了一门新学科：量子力学。100多年后，基于量子力学的成果仍在不断涌现，比如量子计算机和量子通信，这可能会让当今最先进的数据加密技术变得一文不值。在过去的30年里，阿尔茨海默氏症的发病机制一直被认为是大脑中淀粉样蛋白斑块的堆积，因为观察到阿尔茨海默氏症患者的大脑中总是有这些斑块。直到最近才发现，降低淀粉样斑块的药物试验并不能缓解阿尔茨海默病。淀粉样斑块现在被认为是阿尔茨海默病的副作用，而不是病因。阿尔茨海默病病因学研究的替代方法在过去一直投资不足，而且此类研究在同行评审中经常被视为“非主流”而被驳回。长期存在的科学理论可能经常被取代，随着时间的推移，任何给定科学领域的理论有时可能会因为根本错误而过时。意识来源新假说：“自组织”我们现在都假设智能、思想和认知都是计算的产物。神经科学计算是目前人类理解这些现象最普遍的方式。神经科学对应的研究对象是人工智能，要构建智能系统，就需要编写计算机程序。1956年，约翰·麦卡锡（JohnMcCarthy）曾在达特茅斯人工智能研讨会上首次提出“人工智能”，并在会议报告的第一页明确表明了这一立场。也许有意识的体验来自某种“自组织”。另一方面，计算主义可能根本不是我们应该关注的核心技术。新的卫星发射企业主要不是将人送入太空。虽然发射过程涉及很多计算机程序，但核心机制是在助推器中用氧气燃烧非燃素火箭燃料，并将其转化为火箭的推力。Python脚本本身无法完成这项工作。同样，仅仅依靠计算机来计算原子应该处于的位置和状态是不会产生结晶的。结晶是原子在相互作用力作用下“自组织”的产物。人脑中有大量的二维神经元。研究人员早就确定，这些地方的神经活动可以非常准确地对应于感官刺激。许多研究人员将这些神经行为描述为“计算的结果”。他们认为，这些计算是我们能够有意识地体验世界的原因。但也许一切都错了。也许这些有意识的体验来自某种“自组织”。我们与这些感觉相关联的计算可能只是我们自己的发明来解释感觉的机制，但实际上并不是感觉的主要原因。当然，以目前的思维方式，这种说法听起来确实令人毛骨悚然。
