CLUE榜单。16日进入中文理解领域权威CLUE榜单TOP10，最终以82.889的成绩在CLUE1.1综合排行榜（不含人类表现）中排名第9，AFQMC排名第一任务得分为86.92，这意味着摩尔的线程AI在语义理解和匹配能力上已经超越了人类水平。同时，这也是绿辰科技AI大规模模型开发系统Colossal-AI在自然语言处理领域应用的重要进展。（2022年12月16日CLUE1.1总排名最新结果）与CLUE总排名TOP10的其他中国预训练模型相比，MusaBert仅包含3亿个参数，是top中最小的模型十。而且是没有任何集成的单一模型。此外，基于MusaBert的语义嵌入模型MusaSim的MooreThreads在AFQMC任务中击败了众多大型模型，获得了第一名。在中文自然语言处理和低资源大模型训练领域具有强大能力。语义理解一直是NLP（自然语言处理）技术的重要目标。通过一系列人工智能算法，可以将文本解析为结构化的、机器可读的意图和词槽信息。一般来说，训练数据的获取和处理、模型迭代和训练等都是NLP技术落地的难点。MusaBert仅用极少量的参数就取得了媲美甚至超越数百亿参数的大型模型的成绩，主要得益于多方面的突破：●技术层面：MooreThread拥有“软硬件一体化”技术"该功能使MusaBert能够自下而上地进行优化；摩尔线程多功能GPU内置AI加速、并行计算等硬件模块，可提供包括AI、科学计算在内的全栈功能，可加速AI推理计算、低资源大模型等应用场景培训提供通用、高性价比、节能环保的人工智能能力。●算法层面：MusaBert采用绿辰科技的AI大模型开发系统Colossal-AI。在上游训练方面，充分发挥了系统的易用性和强大的并行训练性能。同时，MusaBert使用经过优化的DataLoader，在低资源条件下快速处理大规模数据；在下游任务方面，MooreThread在模型训练优化方面采用了高级优化，通过采用适当的优化建模、现场数据增强、Adan优化器等方法探索和展示了预训练语言模型强大的语义理解能力作为尽可能多。MooreThread自研的语义嵌入模型MusaSim以MusaBert为基础模型，采用对比学习的方法进行训练，利用MooreThread收集的百万对监督数据。得益于MusaBert和高质量的数据集，MusaSim不仅在语义相似度任务上超越了很多更大规模的模型，而且在意图识别、情感分析等分类任务上也取得了更好的成绩。●数据层面：除了MooreThread收集的高质量语义相似数据外，MusaBert还使用了200GB的五道开源数据，80GB的CLUE社区数据，以及浪潮电子信息产业有限公司提供的1T高质量数据集。,Ltd.大规模高质量数据使得模型能够在相对较小的规模下保持高性能。目前，MusaBert作为基础模型，已经应用于MooreThreads开发的智能客服、数字人等项目，并陆续落地语义相似度、情感识别、阅读理解、语音识别等下游领域。为了进一步降低大模型开发应用的门槛，MusaBert代码现已开源到Colossal-AI仓库（https://github.com/hpcaitech/ColossalAI/tree/main/examples/language/roberta)，使用这个脚本，可以在短时间内训练出一个高质量的中文BERT模型。MusaBert、MusaSim等一系列优质模型也将在近期开源，为中国NLP社区贡献力量。此外，经过MooreThreads和绿辰科技的严格测试，仅通过MooreThreads多功能GPU单卡就可以训练MusaBert乃至更大规模的GPT2，大大降低了预训练的成本，实现了低成本的训练。双方。资源大模型训练的共同愿景迈出了坚实的一步。CLUE作为中文语言理解领域最权威的评价基准之一，涵盖了文本相似度、分类、自然语言推理、阅读理解等诸多语义分析和理解子任务。业界和学术界已经将CLUE作为预判培训算法能力的验证和测量。此次进入CLUE榜单TOP10，标志着摩尔线程与绿辰科技的联合研发团队在中国预训练研究领域达到了行业领先水平。展望未来，摩尔线程也将与绿辰科技紧密合作，展开更合适规模的大规模自然语言模型研究，充分利用上游数据，产出更强大的模型并开源。同时，保持算法与系统的并行性，不断优化大模型在摩尔线程多功能GPU上的训练能力，尤其是在单消费显卡等低资源场景下，可以大大降低使用大型模型进行训练的成本。门槛和成本，进一步推动人工智能的民主化。关于绿辰科技绿辰科技是一家致力于“解放AI生产力”的全球化公司。核心产品是大模型时代的通用深度学习系统Colossal-AI。模型应用成本大。自开源以来，Colossal-AI多次荣登GitHub热榜全球第一，获得约7000个GitHubStar，并成功入选国际顶级AI和HPC会议官方教程，如SC、AAAI和PPoPP。相关解决方案已成功应用于自动驾驶、云计算、零售、医药、芯片等行业的知名厂商，获得广泛好评。关于摩尔线摩尔线智能科技（北京）有限公司是一家专注于GPU芯片设计的高科技集成电路公司。专注于全功能GPU芯片及相关产品的研发设计，可为中国科技生态合作伙伴提供强有力的支持。计算加速能力。公司成立于2020年10月，致力于为元计算应用创新新一代GPU，构建集视觉计算、3D图形计算、科学计算和人工智能计算为一体的综合计算平台，建立基于云的生态系统-本机GPU计算。助力数字经济发展。
