当前位置: 首页 > 科技观察

中文自动转SQL,准确率高达92%,这位打破世界纪录的Kaggle高手

时间:2023-03-18 01:01:48 科技观察

本文经人工智能新媒体量子比特(公众号ID:QbitAI)授权转载,转载请联系出处。在追一科技主办的首届中国NL2SQL挑战赛上,又一超越国外水平的NLP研究成果诞生。在NL2SQL任务上,本次比赛的最好成绩达到了92.19%的准确率,超过了英文NL2SQL数据集WikiSQL目前最高分86.0%的完全匹配准确率和91.8%的执行匹配准确率。取得这一成就的团队的名字非常有野心。叫做“未到90不改名”。团队成员包括博士生张晓宇,本次比赛的冠军带走了8万奖金。冠军队伍从来自卡内基梅隆大学、北京大学、清华大学、上海交通大学、南京大学、中国科学技术大学以及中国移动、平安、搜狗等企业的1457支参赛队伍中脱颖而出。92%以上的分数让大赛评委、复旦大学教授肖阳华感到惊讶:“这个结果完全超出了预期。”另一位评委、大赛主办方追翼科技CTO刘云峰表示,这项任务的准确率从比赛开始时的60%以上提升到了92.19%以上,超出了他们最初的想象。并且由于本次比赛使用的中文数据集难度高于WikiSQL英文数据集,证明在相同设置下,冠军队的方案已经超越了国外机构最好的算法(state-of-the-art)中国人在任务上的表现。NL2SQLDemystifyingNL2SQL的最佳方法,即将自然语言“翻译”成机器可以理解的SQL语句,在人机交互中具有巨大的价值。这样的结果意味着,在92.19%的情况下,你说的话可以被机器准确理解,并给你想要的答案。好吧,既然机器可以理解人类的语言,那么从复杂的数据库中查找信息就更容易了。肖扬华教授表示,阻碍大数据价值实现的最大问题是访问数据的门槛太高,依赖数据库管理员编写复杂的SQL,考虑到中文表达方式更加多样,中文NL2SQL多比英语还难。△肖扬华教授因此,通过解决从中国人类语言到SQL等计算机语言的转化问题,那些跟你说话的AI系统会变得“更聪明”,更容易理解你的问题并找到答案。App家里的智能客服和家里的智能音箱就不会那么懵了。针对中文NL2SQL问题,冠军队张小鱼在比赛答辩中揭秘实现方法:△冠军队队长张小鱼在WikiSQL榜单上排名第一,来自MicrosoftDynamics的X-SQL365团队有一些问题,模型框架没有完全适配,colume特征在价值抽取上不显着,容易抽取混乱。针对这些问题,冠军团队提出了M-SQL,将X-SQL原来的6个子任务改为8个子任务,并增加了S-num、Valueextraction、Valuematching三个子模型。提取所有值,判断值与数据库表字段的从属关系。之后,对一些细节进行了改进。例如,在数据预处理方面,对数据、年份、单位、日期、同义词进行修正,统一查询范式;在查询信息表达方面,使用XLS标签替代CLS标签,使离线验证集准确率提升0.3个百分点。使用的预训练模型是哈尔滨工业大学发布的BERT-wwm-ext模型。章小鱼对最后的结果很满意:“我觉得机器比我好,可以说已经超越了人类的水平。”“90后不改名”冠军队队长张晓宇是一名国防生,也是一名竞赛爱好者,专注于NLP领域。获得2018年米杯军事阅读理解挑战赛第二名;在2019年的KagglePetFinder比赛中获得金牌,现在是榜单上的KaggleMaster。另一位团队成员赛斌是他在国防科技大学的同学,而他在Kaggle社区结识的队友王苏红目前在Kaggle排行榜上排名前1000。虽然拿到了冠军,但是这支球队的备战时间比其他球队要晚一些。当他们开始准备的时候,其他队伍已经进行了两周时间。只剩下一个月了。这一个月的准备时间里,三个人每天都在网上一起商量方案,平均下来,基本上每天工作五六个小时。他们对第一名的成绩并不感到意外。毕竟在排行榜上已经是No.1了,而且准确率在这个任务中也取得了业界领先的表现,当之无愧的No.1。最后,关于比赛的经验,张小鱼总结了下非常简单:输入更多代码并阅读更多论文。助力技术的“锤子”,找场景的“钉子”,追一科技总部位于深圳,在北京、上海、南京、香港、新加坡、白俄罗斯等地也设有研发团队或分支机构。成立3年来,追一已完成招商局资本、创新工场、晨兴资本、高榕资本、GGV纪源资本4轮投资,融资总额7000万美元。招行信用卡、中国移动、南方电网、人保财险和腾讯都是追易的客户。从融资规模来看,这家腾讯旗下的AI公司可以说已经是国内NLP领域的佼佼者。技术方面,追一在多项NLP任务上均取得突破,并在CoQA、CMRC2018中文机器阅读理解等挑战赛中获得冠军。对于NL2SQL的任务,曾在腾讯打到T4的刘云峰表示,在中国NL2SQL的竞争之前,只有查易和微软两家公司。这个技术得到了推广:“客户有钉子,不知道用什么锤子砸;而我们搞AI的有锤子,不知道钉子往哪找.通过这次比赛,我们可以用好钉子和锤子搭配在一起,为技术找到落地场景。从NLP到计算机视觉值得注意的是,本次大赛虽然是在NLP领域,但依然吸引了众多计算机视觉领域的研究者参与。入围团队“大哥带我飞”的两名成员是CV研究生。△追一科技CTO刘云峰追一科技CTO刘云峰法官认为,在产业落地的时候,现在多模态融合的趋势越来越明显。越来越多的视觉和NLP结合,需要同时处理多个信号。与计算机交互时,不仅要用到NLP技术,还需要视觉技术。作为一家NLP公司,追一科技也拥有视觉和语音的技术团队。“AI公司主要是做企业服务的,一个企业不会只需要一个方向(技术),当他同时要NLP和视觉的时候,他不会找两家公司,因为他无法把这两个技术融合在一起。“因此刘云峰判断,未来领先的AI公司一定是全栈AI公司。尽管他们将拥有最好的技术,但他们不会只在一个领域部署技术。最后,本次比赛的数据集稍后会公开,或许这会是NLP领域的下一个高地。在追一科技主办的首届中国NL2SQL挑战赛上,又一超越国外水平的NLP研究成果诞生。在NL2SQL任务上,本次比赛的最好成绩达到了92.19%的准确率,超过了英文NL2SQL数据集WikiSQL目前最高分86.0%的完全匹配准确率和91.8%的执行匹配准确率。