当前位置: 首页 > 科技观察

2457亿个参数!全球最大AI巨人模型“元1.0”发布,中国自造GPT-3

时间:2023-03-17 10:20:13 科技观察

古代文人,或一杯酒吟一曲,抒发情怀,或随风起舞,歌唱归来。“吟诗作对”成了他们的标配。刚刚,全球最大的人工智能海量模型“元1.0”发布,可以作诗作词,比人更像人。当理科生变成文艺生的时候,也许文科就真的没有了。不相信?看看这首七言诗:虽非蛤蟆宫流放,何惧冰宫寒冷。窥帘窥小金屋,此地多少人才。看完之后不得不说是真啤酒!意境和内涵都很好。不仅会作诗,还会作词,比如下面这首歌:疑似九日有泪,为我偷偷流下。滴入西湖水中,沐浴千里外的月光,化作梦中的浮云。你能想象这是完全不会写诗的理工科生的杰作吗?的确。李白看了会沉默,杜甫看了会哭。这是浪潮刚刚发布的全球最大人工智能海量模型,名为“Source1.0”。除了能写诗作词,还能对话、写对联、生成新闻、续写故事……2457亿个参数,全球最大的人工智能模型读了2000亿字。要知道,一个人一辈子不可能读那么多字。既然号称世界之最,那究竟有多大呢?世界超大规模人工智能巨模!世界最大的称号可不是闹着玩的!“Source1.0”在算法、数据、算力等方面实现了超大规模和巨量化。在算法方面,相比拥有1750亿参数的英文语言模型GTP-3,“Source1.0”总共包含2457亿参数,是前者参数数量的1.404倍。而且,最重要的是,“元1.0”是像GPT-3一样的单一模型,而不是一堆很多小模型。仅在这一方面,“元1.0”就可以跻身全球最大的自然语言理解模型之列。来源:writeup.ai数据方面,“源1.0”几乎“读”了过去五年整个中国互联网的海量内容。通过自研的文本分类模型,得到了5TB的高质量中文数据集,在训练数据集规模上领先近10倍。此外,《元1.0》还阅读了约2000亿字。什么概念?如果一个人一个月能读十本书,一年能读一百本书,读50年,他一生也不过读5000本书。如果一本书有二十万字,加起来也不过十亿字,要读一万年。完成2000亿字。在如此大规模的数据加持下,“元1.0”数据集顺理成章地成为了全球最大的高质量中文数据集。在算力方面,“元1.0”一共消耗了大约4095PD(PetaFlop/s-day)。与GPT-3耗费3640次PD计算得到1750亿个参数相比,计算效率大幅提升。如果让“元1.0”一天24小时“阅读”,过去五年中国互联网几乎所有的内容,只需要16天就可以阅读完。嗯?原来这五年的中文互联网内容你都学会了?u1s1,“Source1.0”yyds!结果如何?猜猜,在这些对话中,每个问题对应的A和B中的哪一个是由“source1.0”生成的?(答案在文末)对话AB问题1姐姐什么时候回来?农历新年前几天。姐姐什么时候回来?我不知道,如果你想念你妹妹,就写信给她吧。问题2我跟喜欢的男生表白了,他还没回。我跟喜欢的女孩表白,她说我们只适合做朋友。我向我喜欢的男孩表白了。他还没有回复。我想知道结局。问题3我买了那套张蜜糖的针织裙是哪一套?有链接吗?我买了张蜜糖的那件针织裙,你在穿吗?好看吗?问题4不吃饭真的很难受。感觉今天真的吃了,明天肯定会长胖。真的很难不吃。我也这么认为!我一定很瘦。亲身体验“图灵测试”好玩吗?别着急,还有很多问题等着你!下面我们就来看看《元1.0》最强大的模仿能力吧。即对于一个根本不存在的“词”,只需要一个用例,“Source1.0”就可以学习到这个“词”的用法。新词输入-语义生成文本悬空“悬空”的意思是拼命、接近全力、竭尽全力。他凡事都会悬着性命,绝不马虎。用“悬命”造句:他做事悬念太大。为了获得第一手资料,他连饭都懒得吃。“手腕”与技能同义。示例:“他只用手腕的一小部分就做得很好。”用“腕前”造句:这个人的手腕很大,完成这个任务的能力很强气持“气持”指的是心情、精神状态。例子:“那种消极的态度再次控制了他。”用“气持”写一句话:他的气持让我无法靠近。看到这些熟悉的“字眼”就有那种感觉(doge)。突然很期待《原1.0》学会了怎么用“小丑就是我自己”这个词,嘿嘿嘿。说到图灵测试,我们来看看测试的结果。《Source1.0》在测试中取得了平均50.84%的误报率!图灵测试采用“问”“答”模式,即观察者通过控制一台打字机与两个测试对象对话,其中一个是人,另一个是机器。观察者不断提出各种问题,以辨别回答者是人还是机器。一般认为,如果机器在经过多次测试后对每个参与者的误报率超过30%,那么这台机器就通过了测试,就被认为具有人类智能。在“Source1.0”的测试结果中,受访者的平均正确率为49.16%,也就是说平均误报率为50.84%。在新闻生成领域,误判率高达57.88%。其中,正确率是指能够正确识别机器生成的文本的比例。正确率<70%意味着误判率超过30%。数据看起来太单调?美好的!大家期待的“真题”环节来了!对联A、B题1五湖四海春意盎然,三江八荒让我走遍千山万水,流光溢彩题2春来成画,祝福来梦,花开夜深如灯问题3风吹绿柳,雨润春苗,细雨滋润青草问题4三江客满门,四时节充满财富。春天的百货公司满满的幸福感诗AB题1青山遍地晚霞,愿随江随舟轻风去。长城万里长,漫天风雪。题2烟泪空梁画壁寒壁花雨散天幽关封香清佛。蝶梦似离锦袖,江河如湿圆扇,风来香去苦栏。问题三夜战桑干北,秦兵一去不复返。朝有国信,仍自送寒衣。战鼓催万峰寒,九皋盘阴阳相会。飞天军千里外云,铁骑绕明月。答案在文末~成为世界第一是一种怎样的体验?那么,夺得世界第一的最大AI模型到底有多强呢?还不如拉出来跑个分,看看排名!英语语言模型评估包括GLUE和SuperGLUE,GPT-3等各种预训练模型将在其上进行评估。与GLUE类似,CLUE是第一个针对中文的大规模语言评估基准。其中包括代表性数据集、基准(预训练)模型、语料库和排行榜。而这些数据集也会涵盖不同的任务、数据量、任务难度等。顺便看看最近发布的国内首个以数据为中心的AI测评DataCLUE。言归正传,《Source1.0》占据了零样本学习(zero-shot)和少样本学习(few-shot)的前两个榜单。在ZeroCLUE零样本学习榜单中,“元1.0”以18.3%的绝对优势遥遥领先,超越了行业最好成绩。其中,在文献分类、新闻分类、产品分类、地道汉语推理、成语阅读理解与填空、名词代词关系等6项任务中获得冠军。https://www.cluebenchmarks.com/zeroclue.html在FewCLUE小样本学习榜单中,《Source1.0》在文档分类、产品分类、文档摘要识别、名词代词关系等四项任务中获得冠军。https://www.cluebenchmarks.com/fewclue.html零样本学习是指经过训练的分类器不仅可以识别训练集中已有的数据类别,还可以区分数据和未见过的类别。从原理上讲,就是让计算机具备人类的推理和知识传递能力,在没有任何训练数据的情况下,能够识别出一种从未见过的新事物。小样本学习就是用远小于深度学习所需的数据样本量,达到接近甚至超越大数据深度学习的效果。而它是否具有从少量样本中学习和泛化的能力,是区分人工智能与人类智能的明显分界点。因为人类只需要一个或几个例子就可以很容易地建立对新事物的认知,而机器学习算法通常需要数千个监督样本来保证其泛化能力。Source:AkiraAI聊了半天,《Source1.0》的小样本学习和零样本学习有什么用这么厉害?这就引出了庞大模型的一个很重要的意义:强大的统一泛化能力。对于大多数小规模模型,需要针对每一个新任务进行微调,输入相应的数据集,经过大量工作后应用于新场景。对于庞大的模型,在面对不同的应用任务时,不需要做大量的再训练和调整。浪潮人工智能研究院首席研究员吴少华表示:“你不需要为一个庞大的模型提供如此多的数据进行训练,在新的应用场景中可以获得非常好的结果。”所以一个巨大的模型的适应性是非常好的。强,可以大大减少行业在应用模型上的投入,无论是在数据上还是在微调上,从而加快行业的发展。如何评价?大规模模型正在成为人工智能的发展趋势,是必须争夺的制高点。时间回到三年前……当时的预训练模型让深度神经网络和大规模未标注数据的自监督能力得以成功激活。深度学习模型和性能的开关同时打开,尤其是在NLP领域。BigTech在训练模型中尝到甜头后,纷纷展开模型尺寸和性能的激烈比拼。从惊人的GoogleBERT到OpenAI的GPT-3,参数数量不断刷新,1750亿个参数,其能力不言而喻。目前,语言模型的训练已经从“炼化大模型”走向“炼化大模型”,巨型模型也成为业界关注的焦点。近日,李飞飞等斯坦福研究人员在一篇论文中解释说,准质量模型的意义在于涌现性和同质性。在论文中,他们将这个大模型命名为基础模型,并系统地讨论了基础模型的机遇和风险。https://arxiv.org/pdf/2108.07258.pdf简单来说,大模型就是我们理解生命进化的过程,从简单到复杂。我们将模型与元宇宙中的生活进行比较。它拥有多大的模型复杂综合系统的能力,可能决定了它在未来数字世界和智能世界中的智能水平。今天,“Source1.0”有2457亿个参数,这还远远不够。人类神经元有超过100万亿个突触,因此还有很长的路要走。“元1.0”的创新在哪里?通过协同优化,“元1.0”攻克了业界在海量数据和超大规模分布式训练的可扩展性、计算效率、海量模型算法、精度提升等方面的难题。算法:解决业界庞大模型训练不稳定的问题,提出稳定训练庞大模型的算法;提出一种新的巨型模型推理方法,提高模型的泛化能力,让一个模型适用于更多场景。数据:提出了一种生成中文数据集的创新方法。通过全新的文本分类模型,可以有效过滤垃圾文本,生成高质量的中文数据集。在算力方面:“元1.0”通过算法和算力的协同优化,让模型更有利于GPU性能,大幅提升计算效率,在达到业界领先精度的同时,实现了业界领先的训练性能。来源:跨象驾云那么,开发者能从这片“黑土地”中得到什么?浪潮Source1.0的大机型只是一个开始,它只是提供了一片广阔的沃土。浪潮未来将开放大型模型API,服务于元脑生态社区的所有开发者,让全球的开发者在平台上开发各行各业的应用。各种应用可以通过浪潮提供的API,进行基于模型的大型搜索、对话、文本补全等高级AI功能。其实不管是1750亿参数的语言模型,还是2457亿参数的海量语言模型,最重要的是能不能真正为我们所用。说到玩,真正的意义不是在发布会上首秀,而是要在实际场景中发挥它的作用和价值。浪潮信息副总裁刘军表示,“首先,大机型的诞生本身还有另外一层意义,即前沿技术的探索需要大机型这样的平台,在此基础上进一步发展。可以支持创新。”“其次,在行业内,我们很多行业代表都提出了杀手级的应用场景,比如运营商智能运维、智能办公场景自动生成报表、智能助手自动对话等。”“Source1.0”big该模型从自然语言中“识别主题并生成摘要”的能力使跨行业公司的产品、客户体验和营销团队能够更好地了解客户的需求。例如,FutureBigModel可以识别主题、调查情绪、帮助台票、实时聊天记录、评论等,然后从这些汇总的反馈中提取见解并在几秒钟内提供摘要。如果被问到“什么让我们的客户对结账体验感到沮丧?”大型模型可能会提供这样的见解:“客户对结帐过程感到沮丧,因为加载时间太长。他们还想要一种编辑地址和存储多种付款方式的方法。”未来,浪潮源1.0大模型将推动创新型企业和个人开发者基于大模型构建更多智能场景应用,赋能实体经济智能化升级,促进经济增长。质量发展。问题1B问题2A问题3B问题4A对联问题1A问题2B问题3B问题4A诗歌问题1A问题2B问题3B