T前线|专访腾讯AILab：从“点”到“线”，实验室不局限于实验，点状结果很难直接被用户使用。腾讯AILab自然语言处理中心主任史书明说。在过去十年左右的时间里，人工智能(AI)经历了复兴，自然语言处理(NLP)领域也出现了重大的技术进步。NLP技术的进步大大提升了机器翻译的质量，让搜索和推荐更加精准。同时也催生了更多的数字化场景应用，比如对话机器人、智能书写等。那么，作为AI皇冠上的明珠，NLP领域在吸引了无数国内外公司、人才、资本之后，各种因素又是如何推动其研究进展的呢？企业如何孵化和落地研究成果？相关从业者如何看待人工智能发展中的瓶颈和争议？近日，《T前线》有幸采访了腾讯AILab自然语言处理中心，希望能从“人工智能实验室”的角度一窥究竟。不止于实验：聚焦成果落地与开源T前线：腾讯AILab在自然语言处理方面有哪些方向？史树铭：腾讯AILab自然语言处理团队主要从文本理解、文本生成、智能对话、机器翻译四个方向进行研究。在成果方面，从论文发表情况来看，近三年，团队每年在一流国际会议和期刊发表学术论文50余篇，位居国内研究机构前列；值得一提的是，我们的两篇论文分别进行了评估。对于NAACL'2021最佳论文和ACL'2021杰出论文。在学术竞赛方面，我们多次获得重量级比赛的冠军，例如去年的国际机器翻译大赛WMT'2021，我们获得了五个任务的第一名。除了论文和学术竞赛，我们也有意识地将研究成果转化为系统和开源数据，对公司内外用户开放。这些系统和数据包括文本理解系统TexSmart、交互式翻译系统TranSmart、智能创作助手“文用（Effidit）”、包含800万词的中文词向量数据等。年底发布的中文词向量数据2018年被外界称为“腾讯词向量”。它在规模、准确性和新鲜度方面处于领先水平。它在业界受到了广泛的关注、讨论和使用，并在许多应用中不断提升性能。.与同类系统相比，文本理解系统TexSmart提供了细粒度命名实体识别（NER）、语义关联、深度语义表达、文本图谱等特色功能，在第十九届中国计算语言学大会（CCL'）上获得最佳奖2020年）。系统示范奖。交互式翻译系统TranSmart是中国第一款面向公众的交互式翻译互联网产品。提供翻译输入法、约束解码、翻译记忆融合等亮点。支持公司内外众多客户、业务和场景，包括联合国文献署、Memsource、华泰证券、腾讯音乐、阅文、腾讯游戏、腾讯自选股票文档翻译等。前段时间，我们发布智能创作助手“文用（Effidit）”，提供多维文本补全、多样化文本润色等特色功能，利用AI技术辅助写作者发散思路、丰富表达，提升文本编辑写作效率。T前线：在智能协同方面，能否以“Effidit”为例，谈谈项目的由来和最新情况？史书明：智能写作助手Effidit项目是在2020年国庆前上线的。做这个项目主要有两个原因：一是写作上有痛点，二是这个场景需要的NLP技术符合我们团队积累的能力。首先说说写作的痛点：我们在生活和工作中经常需要阅读新闻、小说、公众号文章、论文、技术报告等，也需要写一些东西，比如技术文件、会议纪要和报告材料。我们可以发现，阅读的过程通常是轻松、不费力的，而写作则不同。我们常常不知道如何用正确的词语来表达自己的想法，有时候花大力气写出来的句子和段落看起来还是干巴巴的，中间还容易出现错别字。也许大多数人更擅长阅读而不是写作。于是我们就想，能不能用技术来解决写作的痛点，提高写作的效率？再说说启动这个项目的第二个原因：我们一直在思考NLP技术如何提高人类的工作效率和生活质量？过去几年，我们在文本理解、文本生成、机器翻译等NLP的子方向开展了深入的研究工作。大多数研究工作往往围绕一个点展开，点状的结果很难被用户直接使用。于是，我们下意识地把几个点状的研究成果串起来，形成一条线，也就是一个系统。我们一直在寻找文本生成方向研究成果的落地场景。考虑到上面提到的写作痛点，我们经过讨论决定启动智能写作助手Effidit项目。经过一年半的研发，第一个版本已经问世。接下来，我们将继续迭代优化，听取用户反馈，完善各项功能的效果，努力打造一款简单易用、深受用户欢迎的工具。可信AI：可解释性和鲁棒性研究仍有待探索前沿：近年来，可信AI备受业界关注。能否谈谈可信AI在NLP领域的理解和进展？施树铭：我对可信AI了解不多，只能说一些粗浅的想法。可信人工智能是一个抽象的概念，目前还没有准确的定义。但是，从技术角度来看，它包含了很多要素：模型可解释性、鲁棒性、公平性和隐私保护。近年来，基于Transformer结构的预训练语言模型在众多自然语言处理任务中展现出惊人的效果，受到广泛关注。然而，此类AI模型本质上是数据驱动的黑盒模型。它们对预测结果的可解释性差，模型鲁棒性不是很好，容易学习到数据中固有的偏差（比如性别偏差），导致模型的公平性出现一些问题。早于预训练语言模型的词嵌入也存在性别偏见。目前，一方面，构建可信的AI模型是机器学习和NLP领域的一个研究方向。研究工作较多，并取得了一定进展。另一方面，这些进展离目标还很远。比如在深度模型的可解释性方面，进步不是特别大，还没有迈出关键一步。我的腾讯人工智能实验室也在做一些可信人工智能的研究工作。腾讯AILab从2018年开始持续投入可信AI工作，在对抗鲁棒性、分布式迁移学习、可解释性三大方向取得了一定成果。未来，腾讯AILab将聚焦AI的公平性和可解释性，持续探索相关技术在医疗、制药、生命科学等领域的应用。聚焦难点：统计方法无法从根本上理解语义T前沿：您认为当前NLP研究的瓶颈在哪里？未来的方向是什么？石书明：自然语言处理研究领域自出现以来，面临的最大瓶颈是如何真正理解一段自然语言文本所表达的语义。这个瓶颈至今没有突破。人类确实具有理解自然语言的能力。比如我们看到“shelikesblue”这句话，就知道它的意思，什么是“like”，什么是“blue”。就NLP算法而言，它在处理上面的句子时，与我们看到的未知外语的句子“abcdefxyz”并没有本质区别。假设在这种未知的外语中，“abc”表示“她”，“def”表示喜欢，“xyz”表示“绿色”。当我们对这门外语一无所知时，我们就无法理解这门外语的任何句子。如果我们有幸看到大量用这种外语写的句子，我们可能会对它们做一些统计分析，试图建立这种外语中的单词和我们母语中的单词之间的对应关系，希望能够终于破解了语言。目的。这个过程不小，也不能保证最后能成功。对于人工智能来说，它面临的情况比我们人类破译一门未知的外语还要糟糕。我们有生活常识，有母语词汇与脑海中内部概念的映射，但AI没有这些东西。NLP研究中的符号化方法，试图通过文本和知识图谱的符号化表达，为AI增加类人能力，试图从根本上解决理解问题；而统计方法暂时忽略了常识和头脑中的内在概念等，重点是改进统计方法，充分利用数据本身的信息。迄今为止，第二种方式一直是业界研究的主流，也取得了较大的成功。从近十年统计NLP的瓶颈突破和进展来看，词向量技术（即用一个中维稠密向量表示一个词）突破了词可计算性的瓶颈，结合深度学习算法和GPU的计算能力，拉开了近十年NLP一系列突破的序幕。新的网络结构（如Transformer）和范式（如预训练）的出现极大地提高了文本的可计算性和文本表示的效果。但是，由于统计NLP不像人类那样对常识和基本概念进行建模，无法从根本上理解自然语言，因此很难避免一些常识性错误。当然，研究界从未放弃在符号和深度语义表示方面的努力。过去十年在这方面最有影响力的尝试包括WolframAlpha和AMR（AbstractMeaningRepresentation）。这条路非常艰辛，主要挑战是大量抽象概念的建模和可扩展性（即从理解高度正则化的句子延伸到理解一般的自然语言文本）。基础技术方面未来可能的研究方向包括：新一代语言模型、可控文本生成、改进的模型跨域迁移能力、有效整合知识的统计模型、深度语义表示等。这些研究方向对应一些NLP研究中的局部瓶颈。在应用方面，需要探索的方向是如何利用NLP技术提高人类的工作效率和生活质量。研究与落地：如何平衡两者？T前线：AILabNLP在基础研究、前沿技术和产业化方面是如何探索和布局方向的？你的下一步是什么？石书明：在基础研究方面，我们的目标是在基础研究上寻求突破，解决当前研究中的一些瓶颈问题，力争像Word2vec、Transformer、Bert一样，产生原创、有用、有影响的成果。为了实现这个目标，一方面，我们给基础研究人员更大的自由度，鼓励他们做一些长期有潜在影响力的事情；另一方面，整个团队成员通过集思广益等方式，选择若干个需要重点突破的方向，大家一起努力。在产业化方面，除了对公司现有产品进行技术改造外，我们将重点打造自己主导的一两个科技产品。目标是整合研究成果，提高人们的工作效率或生活质量。这些技术产品包括翻译人员的交互式翻译系统TranSmart和文本编辑和写作场景的智能创作助手Effidit。我们会继续打磨这两款技术产品。寻找昆山之玉：科研人员需要一定的自由度TFrontline：从科研部门来说，您认为科研人员和算法工程师的侧重点有哪些不同？史书铭：在我们团队中，算法工程师的职责包括两点：一是实现或优化现有算法（比如已发表论文中的算法），二是实现和打磨技术产品。除了算法工程师的两项职责外，研究人员的职责还包括提出和发表原创研究成果。这种划分不是绝对的，界限比较模糊，很大程度上取决于员工自身的利益和项目的需要。T前线：作为管理者，实验室团队管理与传统的技术工程师管理方法和理念有哪些不同？史树铭：对于业务团队来说，技术工程师需要紧密配合，通过一定的项目管理流程，才能生产出计划中的产品。实验室团队往往由基础研究人员和技术工程师（可能还有少量产品和运营人员）组成。对于基础研究，要给科研人员更多的自由，少一些“指导”，多一些帮助，尊重他们的兴趣，激发他们的潜能，鼓励他们做一些有长期潜在影响的事情。基础研究的突破通常不是自上而下计划的，也不是通过项目管理流程来管理的。另一方面，当实验室团队创建技术产品时，研究人员和技术工程师需要更多协作，辅之以轻量级的项目管理流程。实验室AI职位：候选人的选择更注重“三好”，内心足够强大T前线：如果申请者研究能力强，在高级别会议上发表论文多，但工程能力较差，你会雇用吗？施树明：这个问题很好。这是我们在招聘时经常遇到的问题。理想情况下，学术界和产业界都希望培养或招聘具有较强研究和工程能力的人才，但这样的人才在实践中并不多见，往往是企业和研究机构争夺的对象。面试过程中，对于研究能力突出的候选人，我们会相应降低对工程能力的要求，但必须高于一个基本门槛。同样，对于工程能力强的候选人，我们将降低对其研究能力的要求。在实际工作过程中，如果安排得当，研究能力强、工程能力强的员工会通过合作发挥各自优势，共同完成项目。TFrontline：您最看重求职者的哪些能力？史树明：沉向洋博士说招聘的要求是“三好”：数学好、编程好、态度好。好的数学对应一个人的研究潜力，好的编程对应工程能力，好的态度包括“对工作有热情”、“与同事合作共赢”、“工作踏实”等内容。这三点是很多研究机构都看重的。在实际面试过程中，往往通过阅读论文发表记录和聊项目来评估候选人的研究能力和潜力，通过编程测试和项目输出来评估候选人的工程能力，并通过整体面试过程来推测是否候选人是真正的“良好态度”。这种猜测和评价的方式有时会产生误导，但总体来说准确率还是挺高的。还有一些能力，通过一两个小时的面试是很难判断出来的，但是如果招进来的员工有这些能力，那也算是宝藏了。首先是选择重要研究课题的能力。二是完成一件事的能力。缺乏这种能力的人或团队，可能总是频繁启动各种课题或项目，但这些课题和项目并不能总是高质量地完成，而是往往虎头蛇尾，永不停歇。这可能与执行力、毅力、专注意识、技术水平等有关。三是耐得住孤独和批评的能力。重要的、有影响力的事情，在影响力出来之前，往往不为大多数人所了解；如果内心不够坚强，经不起孤独和批评，可能很难坚持下去，所以很容易放弃初衷，跳入已经红海的海中，涉足当下的热点。T前线：对于目前转行进入人工智能领域的应届毕业生和技术人员，您有什么建议？施树明：每个毕业生的学历、学校、参与的项目都不一样。转行到人工智能的技术人员，在专业和生活经历上更是五花八门。很难给出太多笼统的建议。暂时我只能想到几点：第一，不要埋头做事，而忽略了信息和情报的收集。多请几位前辈或朋友打听情况，听听他们对目前工作情况的介绍和对不同工种、??各工作单位的评价，了解他们走过的路，踩过的坑。同时，通过论坛、公众号、短视频等方式收集信息，帮助你在人生的这个关键时刻做出决定。第二，如果距离毕业还有一年多的时间，没有实习经验，找个靠谱的地方实习。通过实习，一方面可以积累实践经验，提高能力，提前体验工作的感觉；另一方面，实习经历也会丰富你的简历，提高你在找工作时的竞争力。第三，内向总是在工作中不可避免，不可能事事顺心。控制预期，调整心态，想办法消化变化带来的情绪落差。第四，安定下来后，不要忘记自己的梦想，努力工作，做一些对得起自己能力的事情。祝每一位毕业生都能找到自己喜欢的工作，并在工作中成长。祝愿每一个转行进入人工智能领域的技术人员，都能在人工智能的新赛道上享受奋斗带来的快乐和收获。嘉宾介绍了毕业于清华大学计算机系、现任腾讯AILab自然语言处理中心主任的石书明。他的研究兴趣包括知识挖掘、自然语言理解、文本生成和智能对话。在ACL、EMNLP、AAAI、IJCAI、WWW、SIGIR、TACL等学术会议和期刊发表论文100余篇，H-index为35。担任EMNLPdemonstrationco-chair2021和CIKM2013，KDD2022高级程序委员会委员，ACL、EMNLP等会议程序委员会委员。
