复旦发布中文版ChatGPT：MOSS开测冲上热搜，服务器爆满1亿，轻松跻身全球互联网历史用户增长率第一。这也是一项进入门槛很高的技术。由于ChatGPT的训练过程需要大量的计算资源和高昂的标注成本，目前国内还没有类似的产品对外开放。百度、阿里、京东等互联网大公司纷纷发布消息，正在打造“国产ChatGPT”，将于近期发布。各大厂商的产品还没到位，学术界先有消息。2月20日晚，复旦大学自然语言处理实验室发布了具有ChatGPT能力的语言模型——MOSS，并公开邀请公众进行内测。MOSS体验链接：https://moss.fastnlp.top/MOSS项目主页：https://txsun1997.github.io/blogs/moss.htmlMOSS的名字来源于电影《流浪地球》，和电影一样火爆是的，MOSS发布的消息迅速冲上了知乎等平台的热搜榜首。然而，与科幻小说不同的是，现实世界中的AI并没有得到量子计算机的加持，而且距离开启还不到24小时。由于瞬时访问压力过大，昨晚MOSS服务器不堪重负，可见大家对生成语言模型的期待到了什么程度。据复旦大学研究人员介绍，目前的内测，与用户交互迭代优化，不适合公测。我们知道，自然语言处理是人工智能领域最大的挑战之一。虽然出现了突破，但本月推出的新Bing搜索和谷歌发布的竞品BARD在测试中时不时出现问题。复旦大学的MOSS水平如何？和MOSS对话，你是什么水平？MOSS的基本功能与ChatGPT类似。它可以根据用户输入的指令完成各种自然语言处理任务，包括文本生成、文本摘要、翻译、代码生成、聊天等。在预览期间，MOSS的使用是免费的。MOSS与ChatGPT相同。构建过程包括自然语言基础模型训练和理解人类意图的对话能力训练两个阶段。根据项目主页，MOSS和ChatGPT的主要区别是MOSS的参数比ChatGPT少得多。MOSS通过与人类和其他AI模型交谈来学习，而ChatGPT通过人类反馈强化学习(RLHF)进行训练。MOSS将开源以促进未来的研究，但ChatGPT可能不会。MOSS的会话性如何，我们来看几个例子。以下是MOSS生成的一些交互记录：在这个例子中，用户首先让MOSS推荐五部科幻电影，然后让MOSS生成一张表，显示这些电影和他们的导演，最后让MOSS插入一个新的列在表格中显示这些电影的发行年份。完成这个任务需要一个语言模型具有很强的多轮交互能力和命令理解能力，而MOSS在这两方面显然表现出色。与ChatGPT类似，MOSS有时也会输出事实错误的示例。除了多轮对话，MOSS生成的代码也是一个问题。在下面的例子中，MOSS不仅可以为用户提供实现快速排序的Python代码，还可以应用户的要求提供对这段代码的解释和使用示例。可谓手把手教的程序员。除了请MOSS帮忙写代码，你还可以向MOSS询问代码的细节问题，这样可以更好的帮助你理解代码。在下面的例子中，用户向MOSS询问了一段代码的编程语言和功能，并进一步询问了其中一个函数的功能，MOSS给出了满意的答复。此外，MOSS还具有人文价值。当被要求回答不合理的问题时，MOSS会拒绝回答并给予正确的劝导。据了解，MOSS采用自研模型，拥有数百亿参数进行训练。在对话能力训练阶段，OpenAI收集了至少数十万条人类指令——让各行各业的专业标注人员写出指令响应，然后输入到模型库中，帮助ChatGPT逐步理解各种指令。复旦团队采用了不同的技术路线。通过让MOSS与人类和其他AI模型进行交互，学习效率和研发效率得到显着提升，对话能力训练在短时间内高效完成。研发团队表示，MOSS虽然实现了ChatGPT的部分功能，但仍存在诸多局限性。由于缺乏高质量的数据、计算资源和模型能力，MOSS仍然远远落后于ChatGPT。由于训练数据中的多语言语料库有限，MOSS在理解和生成非英语文本方面表现不佳。该团队目前正在开发改进版本，以提高他们的中文技能。由于模型容量相对较小，MOSS没有包含足够的世界知识。因此，MOSS生成的某些响应可能包含误导性或虚假信息。有时MOSS会以迂回的方式执行，甚至无法遵循指示。在这种情况下，用户可能需要重新生成几次或修改提示才能得到满意的响应。该团队正在积极提高其遵循指令的能力以及生产力。有时，MOSS可能会对提示产生不道德或有害的反应。用户可以通过点击“不喜欢”来帮助减少此类行为，团队将在下一个版本中更新模型。研究团队指出，当前版本的MOSS性能仍然不稳定，还受到数据集问题的影响：“MOSS的英文回答水平高于中文，因为其模型库学习了超过3000亿个英文单词，而中文单词只学习了大约300亿。”上线后，团队将根据有价值的用户反馈（经许可）继续改进模型，为MOSS提供可访问的接口。未来，研究人员还计划结合复旦大学在人工智能和相关交叉学科的研究成果，赋予MOSS具备绘图、语音、作曲等多模态能力，加强辅助科学家高效科研的能力，期待MOSS能为国产对话模型的发展开个好头。团队介绍主要有两个MOSS的作者：复旦大学教授邱锡鹏和博士生孙天祥。此外，还有几位成员对该项目做出了贡献。邱锡鹏，复旦大学计算机科学与技术学院教授、博士生导师。全国优秀青年奖获得者获复旦大学理学学士和博士学位，主要从事自然界研究l语言处理、深度学习等，发表CCFA/B类论文70余篇，获ACL2017杰出论文奖（CCFA类），CCL2019最佳论文奖，《中国科学：技术科学》2021HighImpact5篇论文获入选PaperDigest发布的IJCAI/ACL/EMNLP最具影响力论文（被引次数进入上届前20）。出版了一本开源专着《神经网络与深度学习》，在Github上有15000名粉丝，在豆瓣上有9.4分。主持开发了开源框架FudanNLP和FastNLP，已被国内外上百家单位使用。2015年入选首届中国科协青年人才委托项目。2018年获得钱伟昌中国信息处理科学技术奖青年创新一等奖。首届上海市计算机学会教学成果奖一等奖（第一完成人）等。培养的学生多次获得一级学会优博、微软学者、百度奖学金等。孙天祥，复旦大学计算机学院博士生，师从邱锡鹏教授、黄选景教授。2019年毕业于西安电子科技大学。研究兴趣集中在机器学习及其在自然语言处理中的应用，尤其是预训练语言模型的高效微调和推理、多任务学习、知识表示学习等。在ICML、ACL、NAACL、AAAI发表多篇论文,COLING等会议为第一作者。
