12月31日，致远研究院发布2020年人工智能十大进展，新的一年，人工智能将走向何方？2021年伊始，全体致远学者深入探讨，从人工智能基础理论、算法、类脑计算、算力支撑等方面做出预测，提出2021年人工智能十大技术趋势，展望共同迈向人工智能的未来。发展方向。我们相信，随着人工智能技术的逐步成熟，将能够更好地帮助人类应对后疫情时代的各种不确定性，助力建设一个充满希望和变革的世界。趋势一：科学计算中的数据与机制融合建模趋势二：深度学习理论迎来融合与突破趋势三：机器学习向分布式隐私保护演进趋势四：大规模自监督预训练方法进一步发展趋势五：基于因果学习的信息检索模型和系统成为重要发展趋势6：类脑计算系统正逐步从“专用”向“通用”演进7：类脑计算正从分散的自主研究走向多点迭代开发8：神经拟态硬件的特性被进一步挖掘和利用，实现更先进的智能系统十大趋势概览，关注“致远研究院”公众号，回复“2021趋势”在后台下载报告全文：趋势一：科学计算中的数据与机制融合建模机器学习的结合宁与科学计算，即数据与机制的融合计算，为科学研究提供了新的手段和范式，成为前沿计算的典型代表。基于机构的造型从基本的物理规律中推导出来，追求简洁美的表达；基于数据的建模从数据中总结规律，在实践中追求应用效果。这两种建模方法在科学史上都发挥了重要作用。近年来，科学计算发展的一个重要趋势是从单纯的基于机制或基于数据的范式转向数据和机制建模与计算的融合。许多前沿科学领域的许多重要问题往往涉及发生在不同时空尺度上的多个耦合物理过程，这些过程具有高度各向异性、奇异性、不均匀性和不确定性。人类只能知道部分原理和数据。这时，机制与数据的结合将成为研究这些问题的有力手段。趋势二：深度学习理论迎来融合与突破深度学习在应用领域取得了举世瞩目的成就，但其理论基础仍然十分薄弱。存在机制尚不清楚。深度学习的理论分析需要从数学、统计学、计算等不同角度，以及表示能力、泛化能力、算法收敛性和稳定性等方面进行探索和创新，目前对深度学习理论的碎片化认识将进一步迎来融合和突破，从浅层网络和局部属性的理解到深层网络和全局属性的理解，最终能够完整回答关于深度学习能力和极限的重大理论问题。趋势三：机器学习向分布式隐私保护方向发展目前，全球多个国家和地区都出台了数据监管法规，如HIPAA（美国健康保险流通与责任法案）、GDPR（欧盟通用数据保护条例）等.,通过严格的法规限制多个机构之间的私人数据交换。分布式隐私保护机器学习通过加密、分布式存储等方式保护机器学习模型训练的输入数据，是打破数据孤岛、完成多机构联合训练建模的可行方案。趋势四：大规模自监督预训练方法的进一步发展。GPT-3的出现激发了研究者在更广阔的视野中继续探索和研究大规模自监督预训练方法。未来基于大规模图像、语音、视频等多模态数据，以及跨语言的自监督预训练模型将得到进一步发展，研究人员将继续探索解决当前问题的方法不具备认知能力的大规模自监督预训练模型。趋势五：基于因果学习的信息检索模型和系统成为重要的发展方向。人工智能算法是推荐系统、搜索引擎等智能信息检索系统的核心技术，深刻影响着亿万互联网产品用户的工作和生活。目前大多数基于人工智能算法的信息检索模型都着重于建立给定数据中变量之间的相关性，但相关性并不等同于更原始的因果关系，导致目前的信息检索结果存在严重偏差.攻击能力差，模型往往缺乏可解释性。趋势六：类脑计算系统逐渐从“专用”向“通用”演进智能计算。然而，从设计方法来看，类脑芯片往往根据目标应用的需求，通过归纳确定其硬件功能和接口，并定制工具链软件，导致软硬件紧耦合、和有限的目标应用范围。类脑计算芯片的设计将借鉴现有处理器的设计方法和发展历史，基于计算完备性理论结合应用需求，实现完整的硬件功能。同时，类脑计算基础软件将整合现有类脑计算编程语言和框架，提出与具体芯片无关的高级编程抽象和统一开发框架，开发类脑计算针对目标芯片的计算编译优化和映射优化技术，实现类脑计算。计算系统从“专用”到“通用”的逐步演进。趋势七：类脑计算正在从分散的独立研究向多点迭代发展方向发展。类脑计算在很多方面取得了很多基础研究成果，但目前的研究仍呈现出相对独立、狭窄的纵向分布，尚未形成相互促进。横向渗透。未来，类脑计算将更加注重单点自主研究与其他层次研究的结合，促进基础理论算法、芯片硬件平台、评估测试基准、编程与计算等方面的相互协作与提升。类脑计算的编译工具和系统应用，构建更加全栈类脑计算迭代发展生态，进入良性轨道。趋势八：神经形态硬件的特性得到进一步挖掘，用于实现更高级的智能系统。新型神经形态器件，如RRAM（可变电阻存储器）、PCM（相变存储器）等，已经在人工智能领域发挥作用。基于这些设备的智能硬件系统已经能够有效提高智能算法执行的速度和能效，保持算法的性能。然而，目前大多数硬件智能系统仅利用了神经形态器件的一些特性，如非易失性、线性等，缺乏对器件更丰富的特性，如易失性、非线性、随机性等的应用。下一代智能系统通过对设备的全面探索，将算法的各种需求与设备丰富的特性紧密结合，从而进一步拓展智能系统的功能和应用范围，提高系统性能和效率。趋势九：人工智能正在从脑结构启发向结构功能启发和脑启发人工智能转变。在强调模仿大脑结构和神经形态学的同时，还需要了解人体神经元和神经回路的功能和机制。这是因为大脑结构与大脑功能之间并不存在简单的一一对应关系，即相似的结构可能具有不同的功能。例如海马体的古老结构，在人脑和动物脑中结构相似，但它们使用不同的记忆编码方式。动物的海马体编码记忆时，采用“模式分离”的方式，即神经元组成不同的神经元群来存储记忆，从而避免记忆混乱。然而，人类的海马体采用了一种“概念与联想”的编码方式，即同一组神经元可以存储许多不同的记忆。人类这种独特的记忆编码方式可能是人类智能出现的关键因素，有助于解释人类与其他物种相比的独特认知能力，例如人类的抽象思维能力和创造性思维能力。趋势十：AI计算中心成为智能时代的关键基础设施近年来，AI对算力的需求快速增长，成为最重要的算力资源之一。人工智能计算是智能时代发展的核心驱动力，基于人工智能算力的人工智能计算中心应运而生。人工智能计算中心基于最新的人工智能理论，采用领先的人工智能计算架构。是集公共算力服务、数据开放共享、智能生态建设、产业创新于一体的“四位一体”综合平台。人工智能的数据、算法等全栈能力是人工智能快速发展和应用的新型计算基础设施。未来，随着智能社会的不断发展，人工智能计算中心将成为关键的信息基础设施，推动数字经济与传统产业深度融合，加快产业转型升级，推动经济高质量发展.
