以前大模会认真胡言乱语,让人哭笑不得。
未来,这样的问题会越来越少。
最近,夸克大模型利用数据、平台、知识增强等优势,可以极大地提高知识的准确性。
在医疗保健领域,夸克的大模型已经能够将问答内容的幻觉率降低到5%,处于行业领先水平。
在大模型领域,所谓“错觉”是指大模型会回答与其所问的问题不同的情况。
用户最直观的感受就是大模型在胡说八道。
如果你处于聊天、创意等情况,你就很难接受这种情况。
但如果查询健康、学习等知识,高幻觉率会让人认为大模型不可靠。
“Quark 大型模型是一个面向应用的大型模型,用于搜索、生产力工具和资产管理。
”夸克技术负责人蒋冠军表示,基于多年在搜索和知识图谱领域的积累,我们在解决错觉问题上有一定的优势。
最后,通过知识强化,幻觉率基本可以保持在可控、可用的状态。
具体来说,可以采用以下四种方法来解决大型模型中幻觉率过高的问题。
首先,在预训练阶段,投入更多的时间和精力进行基础语料数据处理和数据准确性验证。
其次,为了与人类保持一致,夸克大模型对 SFT 手动标记的样本需要非常高的精度。
基于搜索技术,可以对大模型的输出进行知识的逆向验证。
第三,改进模型,增加模型参数也将有助于减少幻觉。
最后,知识增强用于利用外部知识数据来解决当前模型数据问题。
清华大学新闻学院教授、博士生导师沉阳表示,降低大模型的错误率,一个重要举措就是与搜索引擎合作。
比如Quark在搜索场景中积累了大量的数据和知识,这对于降低大型模型的错误率非常有帮助。
解决大模型的应用问题,关键是解决知识的正确性问题。
夸克在一系列知识问题评测中都有出色的表现。
数据显示,Quark的大模型连续荣登C-Eval和CMMLU两项权威评测榜单榜首,多项性能优于GPT-4。
此外,在最新的百亿参数测试集中,夸克还在法律、医疗、问答等多个领域排名第一,夸克的大模型在不同参数量级的比较中表现出色。