当前位置: 首页 > 科技赋能

JioNLP大语言模型评测发布:“360智能大脑”多项能力领先全国

时间:2024-05-19 16:37:09 科技赋能

5月23日,JioNLP大语言模型评测发布最新测试结果,版本GPT——认知智能通用大模型“智慧大脑”(简称“智脑”)已成为“目前国内最好的大语言模型”。

此前,智脑还在中国通用大型模型基准(SuperCLUE)评测结果中多项能力位列国产大型模型第一。

近期,国内多家企业的大模型产品不断涌现。

为了在同一水平上比较所有公测大模型拉齐,JioNLP制作了大语言模型评测数据集,以检验各个大语言模型的实际效果。

在其最新评测结果中,智脑得分为68分,仅次于ChatGPT和GPT4,高于科大讯飞等国产大机型,在国产大机型中排名第一。

JioNLP表示,智能大脑的表现超出了预期,“与国内其他模型相比,优势主要体现在回答客观问题的准确率相对较高,问答题的准确率较好,这表明模型的文本数据训练分布广泛,最值得一提的是,该模型对于编程题的准确率很高,测试中总共有3道编程题,全部都回答正确,没有出现明显的偏差或问题。

”专业人士分析道,作为搜索引擎厂商,把模型做大有天然的优势。

其海量、多样、高质量的训练语料和工程调度能力是很多厂商所不具备的。

同时,搜索引擎数据实时更新,知识校对准确,大模型可自动剔除垃圾信息。

因此,两者融合,相辅相成,形成良性循环。

所以,JioNLP认为“智脑较准”是有原因的。

相关负责人表示,未来,集团将凭借多年的人工智能技术积累以及在搜索、浏览器等场景的优势,进一步布局“一起飞”的规模化模式战略。

两翼+四路并发”。

一方面坚持核心技术研发,另一方面拓展优势场景,不断提升大模型在场景中的核心技术能力。