当前位置: 首页 > 科技赋能

新“学生”Quark模型登顶C-Eval和CMMLU排行榜

时间:2024-05-19 16:39:02 科技赋能

11月16日,根据最新结果,千亿参数的Quark模型荣登C-Eval和CMMLU两项权威榜单榜首。

在评测列表中,很多性能都优于GPT-4。

在国内大型模型行业蓬勃发展之际,夸克自主研发的大型模型凭借卓越的研发能力和数据、行业、平台优势,成为新“学霸”。

作为国内最权威的两个大型语言模型测试榜单,C-Eval是由清华大学、上海交通大学和爱丁堡大学联合构建的综合考试评估集,涵盖52个科目。

是目前中国最权威的AI大模型。

评论列表之一。

CMMLU由MBZUAI、上海交通大学和微软亚洲研究院联合发起。

它包含67个主题,专门用于评估中文情境下语言模型的知识和推理能力。

在评估过程中,夸克模型经过了数万道专业试题的检验,涵盖了数十个学科和不同的学术水平。

无论是常识问题还是社会科学知识,夸克大模型都展现了处理复杂、多层次问题的能力。

基于微调后的训练数据,Quark大模型可以更好地理解问题的脉络、逻辑结构和语义关系,从而更全面、更深入地分析和解决问题。

在CMMLU榜单评估中,夸克大模型以平均分77.08分位居总分第一,占据社会科学及其他两个类别第一名。

在C-Eval榜单中,夸克大模型取得了平均分89分的成绩,稳居行业第一。

它还在社会科学、人文学科和其他三个类别中名列前茅。

Quark模型同时荣登两项权威榜单,进一步证明Quark在数据增强、模型选择、训练策略、模型融合和模型评估方面处于行业领先地位。

同时,在国内专业考试中,夸克大模型的表现堪称“学术大师”。

不仅在中考、高考、研究生考试中超过GPT-4,在临床医师资格考试、计算机等级考试、公务员考试、教师资格证考试等评估中也超过GPT-4 。

具有超强问题解决能力的夸克大模型应用于日常学习和工作场景,有望为用户带来效率的全面提升。

此外,夸克模型还具有强大的文学创作能力。

它可以根据用户提供的主题或关键词生成连贯、逻辑、有深度的文本内容。

它可以帮助用户撰写文章、新闻、诗歌和其他类型的文本。

支持延续、打磨、模仿、修正等多种不同的写作需求,可以进一步提高用户的创作效率。

据介绍,凭借数据、行业、知识精准、平台四大优势,夸克大模型的应用将优先在常识问答、专业搜索等信息服务领域,满足年轻人的学习需求知识并提高自己。

夸克将利用自主研发的大型模型进行全面升级,为年轻人的工作、学习、生活提供更全面的服务。