阿里巴巴、致远研究院、清华大学联合发布AI新模型，可以赋予AI认知能力Scale新的预训练模型“文慧”。该模型不仅可以提高人工智能的理解能力，还可以实现基于常识的人工智能创造。未来将应用于文本理解、人机交互、视觉问答等场景。不同于传统AI训练需要人工标注数据，面向认知的预训练语言模型提供了一种全新的学习思路，即AI首先自动学习大量的语言文本和图像数据，记忆并理解其中的信息，并用人类语言表达出来。学习规则后，进一步学习专业领域知识，让AI同时掌握常识和专业知识。此次发布的“文慧”是目前国内最大的预训练模型，参数量级达到113亿。采用阿里巴巴自研的高性能分布式框架，统一多种并行策略，利用模型并行、流水线并行、DataParallelTraining进行分布式训练。《文汇》突破了多模态理解和多模态生成两大难题。它可以轻松理解文本和图像信息并完成创意任务。比如“文汇”，只需要输入诗的题名、朝代和作者，就可以自动生成古诗词。目前，“文慧”已支持多种基于认知推理的自然语言和跨模态应用任务，部分应用即将上线。该模型可以根据诗名、朝代和作者自动生成诗歌。达摩院2020年十大技术趋势提到AI在“听、说、看”等感知智能方面已经达到或超过人类水平，但其逻辑推理能力仍处于起步阶段，多模态预训练模型是实现感知智能向认知智能跨越的关键基础。达摩院智能计算实验室负责人周敬仁表示，“预训练语言模型是近70年来最具创新性的自然语言模型之一，其模型设计难度远高于传统模型。”达摩院研究团队将继续攻克算法和系统工程难题，加速人工智能向认知智能迈进。”作为中国最早投入认知智能研究的科技公司之一，阿里巴巴有30多项研究成果入选国际顶级会议，并在世界人工智能大会上夺冠。最高奖SAIL奖与清华大学联合获得国家科技进步二等奖。其图神经网络框架GraphLearn已经面向全球开源，可以降低模型的计算能力和存储资源消耗，缩短算法开发和上线周期。
