当前位置: 首页 > 科技赋能

SuperCLUE中国通用大模型基准6月评测发布:360智能大脑继续“中国第一”

时间:2024-05-19 16:11:55 科技赋能

6月19日,中国通用大模型基准(SuperCLUE)发布最新“6月榜单”,360集团(60.SH,以下简称)自主研发的认知通用大模型“智能大脑”多项能力持续位居国内大模型第一,部分能力评分已超越GPT-3.5或甚至 GPT-4。

SuperCLUE是中国可用的通用大型模型评价基准,代表了中国大型模型目前的发展效果。

SuperCLUE从基础能力、中国特色、学术专业能力三个层面对国内外通用大型模型产品进行了考察。

“智能大脑”在上述三方面均排名国内第一、世界第三。

在上个月发布的“SuperCLUE”榜单中,智脑取得了“国产大型车型第一名”的成绩。

为避免“换题”,确保结果公正客观,SuperCLUE在6月新一轮评估中使用了新的独立评估数据集,同时数量级扩大了近10倍到问题的数量。

测试结果显示,织女与GPT-3.5的总分差距已从上个月的8分缩小到本月的5分以内。

同时,在语境对话、语义理解、计算等能力方面,得分已经追平甚至超越GPT。

据了解,近三个月来,智脑完成了从1.0版本到4.0版本的迭代,刷新了国产大型车型的“中国速度”。

“智能大脑4.0”已经具备跨模态生成能力,并依托该能力推出了全国首个大规模模型定制的“AI数字人”和“文生视频”功能。