2021年12月17日，西安电子科技大学人工智能学院教授、欧洲科学院外籍院士、IEEEFellow焦立成应邀参加参加2021中国计算机大会“下一代进化计算发展趋势”论坛，并作了“进化优化与深度学习思考”的主题报告。报告中焦立成梳理了发展与思考与“进化论”相关的起源，指出了当前人工智能的学术缺陷和实践难点，并从类脑的角度给出了解决方案：“神经网络不应该是当前权重调整意义上的，它的结构应该具有可变性、可塑性、学习性和动态性；在类脑感知过程中，大脑的奖惩机制、学习机制、信息表征机制和生长发育机制对信息的重构、编码和加工起着重要作用。现有的深层网络并没有强调上述特征。”以下为报告全文，AI科技评论编辑整理：今天的演讲主要分为五个部分：发展的起源与思想的起源、进化优化与学习、类脑表征学习与优化，进化优化和深度表示学习，以及思考和挑战。人工智能在过去几十年取得了长足的进步，进化优化和类脑深度学习是当前人工智能技术的核心。关键是要用大脑处理知识，自然地演化思想，发展人工智能技术。从历年颁发的科学奖项中，可以窥见这两种思想的发展。例如，通过梳理脑科学领域的诺贝尔奖，我们可以厘清“人类如何思考”，回顾图灵奖可以讨论“机器如何学习和推理”，了解历年与生物学相关的诺贝尔奖可以给出我们对“如何选择和优化生物学”有一些见解。我们启发。那么这些作品对当前人工智能技术的发展有哪些启示呢？事实上，目前学者们利用人工智能解决实际问题可以分为以下几个步骤：机器学习推导符号=>深度学习=>深度强化学习（感知+决策）=>深度迁移学习（环境适应）)=>深度元学习（自动学习）。对于这一步路径，徐宗本院士曾有过机器自动学习的描述：“机器学习自动化：首先，在数据层面，数据样本需要自生成、自选择；其次，在模型算法层面，模型算法需要实现自构建、自设计；最后，在环境任务层面，环境任务必须是自适应的、自转化的。人工智能的发展轨迹应该是从人工到自动，再到到自主智能。》从这段话也可以看出，这些步骤是环环相扣的，每一关都比下一关更难，那么我们应该如何更有效地优化这条路径呢？1进化优化思想的起源进化优化思想的起源很早期，达尔文提出的全局优化和拉马克、班德温提出的局部学习奠定了进化算法的学术思想基础。,和反馈.机器学习方法。1948年，图灵在《智能机》的报告中也指出，从婴儿到成人，人类的大脑皮层可以看作是从一个无组织的机器进化到一个通用的机器。之后，进化优化发展了四个基本分支：进化编程：1960年，L.J.Fogel提出将进化模拟为一个学习过程，以生成一个范围广泛的人工智能机器，强调自然进化中群体层面的行为变化。进化策略：1964年，柏林工业大学的两名学生L.Rechenberg和H.Schwefel提出了一种基于生物变异和选择的进化策略。遗传算法：1975年，J.H.Holland借鉴了C.R.Darwin的生物进化论和G.J.Mendels的遗传定律，提出了遗传算法。遗传编程：1980年，S.F.Smith提出了基于遗传自适应算法的学习系统，J.R.Koza写了《遗传编程：用自然选择让计算机编程》。根据进化计算的思想，科学家们设计了它的动态过程：群体智能，可以从混沌状态出发，通过价值激发信息探索规律、模式和知识，最终得到解。其过程是通过动力学的演化过程，以概率1收敛到全局最优解。具有随机性、非线性、遍历性、自组织性、适应性、多样性、稳定性和高度并行性等特点。如上图所示，群体智能的思想起源很早，其代表方法有蚁群优化、粒子群优化、免疫算法、萤火虫算法等。利用进化优化来解决复杂问题，主要是利用其并行性、奇异性、易修改、非线性度高、适用性广等特点，可以匹配NP-hard问题和组合爆炸问题。此外，在进化优化算法发展过程中，自然免疫学理论为人工免疫的进化优化提供了坚实的理论基础。从信息负表示算法到免疫进化算法，再到人工免疫网络、克隆选择算法、树突状细胞算法，进化优化算法已经“利用了先验知识，具有容错、免疫、鲁棒性，使其更贴近实际问题，能够在动力学上寻求最优解。生物免疫也证明了这一点，诺贝尔生物学奖的领域也为新算法的发展提供了坚实的理论基础。”学习inmemoryandaccelerateinforgetting”使得最优解算法更加有效，符合适者生存的基本思想。人工免疫系统模型的特点是：学习记忆、多样性、分布性、容错性和被动免疫。这也为构建高效、鲁棒和容错算法提供了生物学基础。人工免疫系统方法已经应用于各个领域，并且已经取得了很好的效果。希望能够与进化计算、深度学习相结合，共同推动该领域的发展。说到进化，肯定离不开类脑感知和认知、神经网络和深度学习。2021年诺贝尔医学奖授予DavidJulius和ArdemPatapoutian，当时给出的理由是：人体感知热、冷和触觉的能力对我们的生存至关重要，是我们与周围世界互动的基础。他们发现了“温度和触觉感受器”。这给我们带来“类脑感知与认知研究非常有意义”的启示。从类脑感知到认知是一个长期过程，认知科学是对心智及其过程进行多学科研究的科学。如果说知觉包括视觉、听觉、触觉、味觉等，那么认知就是教会我们去理解、思考、推理和做出决定，如何对心灵及其过程做出准确而全面的观察是认知科学的基础，也是科学的基础。巨大的挑战。TomasoA.Poggio教授认为，过去人工智能的突破来自神经科学，未来的突破也将来自神经科学。2.类脑表征学习和优化召回对于类脑的感知和认知，首先要了解大脑的生物学机制和基本特征。如上图所示，人脑的六大特征是近20年来生物界的最新发现：稀疏性、学习性、选择性、方向性、知识性和多样性。Sparseness：1996年，Olshausen和Field发表了关于《Nature》的论文，提出了神经元稀疏编码的理论；2007年，Svoboda和Brecht发表了一篇关于《Science》的论文，用小白鼠实验验证了神经元“稀疏编码”的假设。学习能力：2011年，美国麻省理工学院学者Tenenbaum、CMU、伯克利、斯坦福大学等在《Science》上指出，人类可以从少量数据中学习一般知识，即具有学习“抽象知识”的能力”。选择性：2011年，Pieter.R等人。在《Science》上发表论文提出：实验证明猴脑细胞具有自主控制注意力区域的能力；注意力机制。方向性：2015年，ArsenyFinkelstein在《Nature》上指出，生物大脑中存在方位角和倾角细胞，可以感知方向和位置信息；2020年，JoshuaJacobsi等人。在叶中发现了一种以自我为中心的空间定向的神经编码模式。这种神经元群在空间和情景记忆中起着重要作用。目前的深度学习只是基于海量神经元的并行性，更热衷于前向网络，而对神经元之间的反馈连接的研究并不多。因此，对于类脑的感知和认知，无论从宏观、中观还是微观层面，都需要“重新开始”，需要利用上述机制和特征进行分析、模拟和模拟。构建模型。神经网络的发展历史悠久，上图展示了一些杰出的贡献者。比如最早的生物神经元的提出者、MP神经元模型的提出者、感知器的提出者、连续神经元的提出者，以及后来明斯基提出的感知器只能解决线性可分问题而不能解决非线性异或问题。其他学者在神经网络领域的贡献更加突出，值得称赞。例如，格罗斯伯格夫妇毕生努力，提出了自适应共振机理论和三个ART系统。在中国层面，提出发育神经元模型的吴文军先生、提出视觉通路三色传导学说的张向通先生、模式识别创始人傅景孙先生、提出神经元发育理论的蔡绍堂先生忆阻器、蔡氏电路、细胞神经网络等理论，对神经网络的发展做出了巨大贡献。值得一提的是，郭艾可、陈林、蒲慕明等学者在生物领域的工作为神经网络的建立提供了良好的基础。我们不应忘记前人的努力，当代中国学者也在接力。他们出色的学术工作使中国在世界上更具影响力。此外，2021年，深度卷积网络的发明者日本学者福岛邦彦获得了鲍尔奖，以表彰他通过发明第一个深度卷积神经网络“Neocognitron”将神经科学原理应用于工程的开创性研究。它是人工智能发展的重要贡献。LeCun也评价道：KunihikoFukushima教授在1980年的卷积网络工作给了他很大的启发，促使他分别在1989年和1998年提出了CCN和LeNet。人工智能的发展离不开深度学习的兴起。从1943年、1944年、1949年到今天，几经风雨。值得一提的是，BP算法的出现让神经网络可以学习多层网络，这在某种意义上回答了明斯基“单层感知器无法解决非线性可分性”的问题。BP算法出现于1974年，P.Werbos在哈佛大学的博士论文中首次给出了详细的数学推导。后来很多学者在它的基础上进行改进，才实现了今天神经网络的发展。FrancisCrick在2021年的最新工作指出，大脑实际上不太可能使用反向传播，这意味着BP复制或传输突触权重信息以进行更新，但在生物网络中，神经元只能接收来自其他神经元的信息。输出信息，但不能接收突触权重或内部过程。这一发现还指出，更具生物学意义的学习机制可能会取代反向传播机制，例如反馈比较、预测编码、锥体神经元、注意力机制等。因此，神经网络不应只是当前意义上的权值调优，更重要的是其结构应具有可变性、可塑性、学习性和动态性。目前，这些特征并没有被当前的深度网络所重视。同样，在类脑感知过程中，奖惩机制、学习机制、信息表征机制、再生发育机制等，在信息重构、记忆编码和加工等方面发挥着重要作用。这些属性目前在深度神经网络中也未得到充分重视。人工智能中的“特征工程”、“特征搜索”、“表征学习”等术语应该改为“大数据驱动的表征学习”、“大数据和知识先验驱动的表征学习”。更有意义。在研究认知建模、自动学习和渐进进化的过程中，我们应该结合环境变化、自然进化和学习动态变化，这可以帮助我们在认知、学习、优化、计算和识别的道路上构建新的.模型，构建新算法，并创新新的潜在方法。目前，我们结合物理Wishart极化特性和大脑的稀疏性，提出了一种用于快速提取目标信息的非线性稀疏变换网络——WishartDeepStackingNetwork（W-DSN）。高级感知模块可在噪声未知的情况下，自动提取目标数据的高级语义特征，实现自动、高效、准确的分类。另一项工作是将物理特征、脑稀疏特征、多尺度特征和卷积神经网络相结合，提出Contourlet卷积神经网络，解决了稀疏、方向、多尺度特征的提取和表示。问题。3进化优化与深度表示学习人脑的进化，包括神经网络的进化，实际上是参数的进化、超参数的调整、结构进化和动力学的过程。进化算法实际上是从人工到自动化的突破，深度学习与进化的结合或许是机器学习具备自动进化能力的一条路径。结合深度和进化的研究有两个优势。第一，进化解决了深度网络结构、权值、参数等优化方面的科学问题；二是深入解决进化搜索中效率低、复杂度高的科学问题。具体来说，深度学习改善了收敛速度慢、解多样性退化、进化计算质量低的问题。例如，使用深度神经网络来表示问题的特征，保持群体多样性；深度神经网络取代了昂贵的适应度评估过程；利用深度神经网络学习进化计算的解选择机制。进化计算与深度学习的结合在寻求自动解决非线性、小样本、大数据、高维、组合爆炸等复杂问题方面具有巨大潜力。该领域的代表作是《NeuralArchitectureEvolutionarySearch(NAS)》。神经网络架构的演化研究已经进行了几十年，如上图所示已经涌现出一些优秀的工作。它具有以下特点：无需引导：进化搜索是一种随机搜索算法，不需要计算梯度和分析目标函数。种群特性：进化搜索是一种基于种群的搜索算法，一次可以得到多个解。CombinatorialExplosion：进化搜索应用广泛，适用于大规模复杂问题的优化。全局最优解：进化搜索是一种随机搜索方法，算法以概率1收敛到全局最优解。非线性随机性：进化搜索可以解决非线性问题，优化规则由概率决定。并行计算：通过大规模并行计算可以提高计算速度。在2021年的最新工作中，来自加拿大渥太华和麦吉尔大学的研究人员表明，使用突发规则构建的深度神经网络具有良好的性能，这为进化神经网络架构的搜索提供了更坚实的理论基础。换句话说，机器学习的方式可以通过生理过程来近似。神经网络权重优化也经历了多年的发展。80年代提出的与重量优化相关的工作包括动力学过程；而目前神经网络的进化优化主要局限于权值和超参数的优化。这就是组合爆炸问题，使得优化过程收敛慢、计算量大、复杂度高、使用困难。因此，梯度优化算法容易受到局部最优的影响，而进化算法在存在鞍点的情况下表现非常好。目前的超参数选择大多依赖于堆叠GPU，只能缓解计算的问题，但在机制上，需要找到一种自动学习的方法。超参数优化的问题有：非线性、非凸、组合优化、混合优化、试错成本高、组合爆炸。经过几十年的发展，这些问题仍然没有得到解决。还有元学习，有几十年的研究背景。它需要解决的基本问题是：元知识、元学习者和元目标的表示。现在有一系列解决可解释性和鲁棒性的方法，但是还远远不够，因为泛化性能的提升，对可解释性的追求，对进化全局最优解的追求永远在路上。4总结因此，我们需要通过自然智能（包括类脑智能??学习和优化）来实现这些目标。在演化的道路上，我们需要做到“聪明明了”，比如紧凑、正交、准确表示、清晰学习、清晰解释。以雷达研究为例，从最早的可见性，到精确测量，再到清晰观察，最后到明辨，这恰恰印证了人工智能（包括进化计算和深度学习）的发展特征。ABC，即人工智能（AI）、生物智能（BI）、计算智能（CI），光芒无限。希望我们不忘初心，不辱使命，锐意进取，认真踏实地学习。
