4月17日，MiniMax正式推出abab 6.5系列模型。
万亿教育部模型abab 6.5。
在各项核心能力测试中，abab 6.5开始逼近GPT-4、Claude 3 Opus、Gemini 1.5 Pro等全球最领先的大型语言模型。
在MoE尚未成为行业共识时，MiniMax在MoE上投入了80%以上的精力，并于今年1月发布了国内首款基于MoE架构的abab 6。
在过去的三个月里，我们进一步挖掘了MoE架构的潜力，并开发了更强大的abab 6.5。
在这个过程中，我们找到了越来越多的加速Scaling Laws落地的方法，包括改进模型架构、重构数据管道、训练算法和并行训练策略优化等。
今天发布的abab 6.5和abab 6.5s是第一个我们加速扩展法律之旅的步骤。
abab 6.5 系列包括两种型号：abab 6.5 和 abab 6.5s。
abab 6.5包含数万亿个参数并支持k个token的上下文长度； abab 6.5s采用与abab 6.5相同的训练技术和数据，但效率更高，支持k个token的上下文长度，1秒可处理近3万字的文本。
。
在核心能力测试方面，我们使用行业标准的开源测试集对两个模型进行了测试，并在知识、推理、数学、编程、指令符合性等维度与业界领先的语言模型进行了比较。
带星号的是调用API测试得到的结果，其余分数来自相应的技术报告。
我们在k token中进行了业界常用的“大海捞针”测试，即放一段很长的、与文字无关的文字。
句子（针），然后通过自然语言询问模型，看模型能否准确回答针。
在所有测试中，abab 6.5 都正确回答。
abab 6.5和abab 6.5s将推广到MiniMax产品，包括生产力产品海螺AI和MiniMax开放平台。
欢迎大家使用。