来源｜梯度脱离
翻译｜ Jia Chuan，Hu Yanjun
Hugging Face是一家以表情符号“拥抱”命名的开源创业公司，以创始团队从未期望的速度成为AI开源社区的顶级“互联网名人”。代码贡献者获得了超过62,000星，14,000叉和1200多个叉子。它已安装超过100万次。
5月10日，Hugging Face宣布，C -Round C融资筹集了1亿美元，由Lux Capital，红杉资本，Coatue，Betaworks，NBA明星Kevin Durant等领导，目前的估值已达到20亿美元。结果，拥抱面孔进一步引起了行业的强烈反应。
许多人很好奇，为什么拥抱的脸能受到打击？为什么资本受到青睐？
，来自Beteworks和NBA明星杜兰特（Durant）获得了天使融资。他们最初的方向是制作对话机器人，但是就像当时的许多初创公司一样，他们没有改善。
直到2019年，为了培训聊天机器人的NLP功能，他们在Github开设了变形金刚图书馆。令人惊讶的是，在机器学习社区历史上，Github的机器学习库迅速发展。不知不觉地插入了柳树和柳树，运气，有时如此邪恶。
不仅在NLP库中，拥抱的脸也逐渐成为机器学习领域的模型持续中心。，生物学，增强的学习和其他领域，以帮助科学家和相关从业者更好地构建更好的建筑模型，并将其用于产品或工作流程。启动的BigScience项目现在吸引了1,000多名研究人员来共同培训超大型模型。
作为一家商业公司，Hugging Face也从去年的30人扩展到120多人，有10,000多家公司使用其产品和服务，其中有1,000多名付费用户获得了报酬。
克莱门特认为，取得这些成就的主要原因是拥抱面孔弥补了科学与生产之间的差距。通过设置一个平台来增强开源和科学界的能力，该价值产生的价值高于建立专有工具所产生的价值。数千次，许多开源软件和公司尚未这样做。范围，拥抱面孔是机器学习领域的“ github”，使其成为由社区开发人员驱动的平台。
2021年6月，在机器学习播客“渐变异议”中，Lukas Biewald以及Hugging Face的首席执行官兼共同创始人谈论了拥抱面孔变形金刚背后的故事，揭示了拥抱脸的快速成长的原因。他对NLP技术发展的看法。
以下是对话的内容。Oneflow社区已经编制了原始意图。
1
卢卡斯（Lukas）：2019年，是什么促使您建立这样的变压器开源库？
克莱门特（Clément）：实际情况是没有太多考虑。在那个时候，我们已经使用开源库了一段时间。在这个领域，我们总是觉得我们站在巨人的肩膀上。许多人从事科学研究时就已经习惯了这种方法。例如，当您发布有关机器学习的研究时，您可能更倾向于以开源而不是论文的形式发布。在拥抱面孔的发展中，我们将在开源库中分享。
至于变形金刚，它从张力量的BERT版本开始。但是Co -Founder and Chimcounder and Chiem Scientist Thomas说，我们还需要发布Bert的Pytorch版本。因此，很快，我们打开了Bert版本的版本Pytorch版本。实际上，那个仓库的名称是Pytorch-Bert。
逐渐地，越来越多的人使用它。几周后，我们发布了另一个新型号，也许是GPT的第一个版本，但它也是TensorFlow版本，因此我们认为最好将其添加到它，因为这两个模型是不同的，并且这些字段在不同的字段上都很好。除了情况下，人们可以更好地尝试两种型号。
后来，我们开始考虑如何使人们更易于使用它们，就像现在一样有机地开发。一些研究人员会问，您想发布一种新模型吗？受欢迎。从总体上讲，这个图书馆和雪球一样大，现在已经取得了成就。
卢卡斯：正如您所说，人们可以使用他人的模型并在此平台上发布模型吗？
克莱门特：是的。我们使用一种混合方法来构建技术，该技术具有扩展用户需求和实用性（例如用户界面）。我们支持的范围非常宽。您可以在不应用的情况下完成您想在开源代码中执行的所有操作。您甚至不必去拥抱面孔的官方网站。您可以在Python中直接安装PIP中的变压器。
如果您想实现更多功能，可以来到我们的平台找到适合您的模型。更好的是，如果您是软件工程师，新手NLP或机器学习，可以使用我们的培训和推理API来培训并运行模型，我们将主导此过程，以便您可以轻松地使用Sotamodel开始。
卢卡斯：一开始我要发布一些pytorch版本模型？您喜欢Pytorch吗？
克莱门特：这是因为用户组不同。我们一直热衷于将那些难以理解和利基市场的事物与更多的人使用。因此，我们相信只有通过促进少数人的技术促进向更多人促进技术，我们才能真正能真正最大程度地发挥技术作用，这也是我们的主要目标。
现在有人使用TensorFlow，有些人使用Pytorch。对我们来说，与我们相比，Pytorch是一个很好的平台。我们希望使其更广泛地使用。
慢慢地，有时人们开始称我们为“ Pytorch-Transformers库”，我觉得使用其他框架对用户来说太不公平了。因此，可以同时在两个平台上使用它。
如果您在集成Pytorch和TensorFlow后使用了我们的版本，您会发现当前功能比两个平台上的功能更全面。。
例如，当您想进行体系结构时，Pytorch是一个不错的选择，当您想进行一些部署服务时，您可以选择TensorFlow，因为它集成了许多经常在行业中使用的工具。在同一工作过程中，您可以首先在Pytorch中构建模型，然后在TensorFlow中使用，以充分利用不同平台的优势，同时避免其缺点。
卢卡斯：您仍然需要使用自己的软件吗？您是否还会将拥抱面对面或只是为他人开发此类工具？
克莱门特：我经常使用我们自己的工具。我们开发的最受欢迎的应用程序是Wite wite wite with with with transformers text Editor，它提供了一些受欢迎的变形金刚模型的技术支持。这有点像您在Gmail编写内容时的自动完成功能，但是它有点像更简单，更新。当前的文本输出应等于1,000本书。当您不知道该写什么时，请使用此软件正确。
2
卢卡斯：根据您的观察，最受欢迎的NLP体系结构是什么？NLP体系结构有什么变化？
克莱门特：通过观察下载量，模型容量等，您可以看到模型开发的方式。发布新模型后，我们可以通过其用户使用来判断它是否成功。实际上，当前模型具有第一的模型Github的下载卷是Distilbert（拥抱面的变压器模型之一）。Distilbert是从Bert通过知识蒸馏提取的模型，但使用中有很多差异。
尽管它们仍然是一种通用的培训语言模型，但这些模型的发展现在越来越敬业。新发布的模型是根据先前优化的，并且性能变得更好。？
您会发现越来越多的特殊模型正在出现。现在，人们不再判断哪种模型是最好的，而是根据其需求和不同的任务选择最合适的模型。
Lukas：Bert和Openai有什么区别？
克莱门特：gpt和bert都是tranformer模型，但是场景和体系结构的使用略有不同。例如，伯特是掩盖填充（填充蒙版句子中的某些单词，这允许机器可以预测哪些单词可以替换封面蒙版）和gpt执行语言模型，预测句子中句子中的句子，预测句子中的句子，预测下一个单词句子中的句子中的句子也解释了为什么gpt的文本生成能力比伯特更强大。但是，GPT也有其局限性。例如，要进行文本分类，GPT不合适。
卢卡斯：您认为Openai尚未完全宣布GPT的重量吗？
克莱门：OpenAI允许更多的人从NLP中受益。我非常感谢他们的贡献。我记得GPT和GPT-2中有几个开源版本。这些基于变形金刚模型，许多公司正在使用它。GPT-3是一个很好的模型，在文本生成中非常有用，但是现在每个人都可以使用GPT-2而不是GPT-3。
一些团队正在雕刻GPT。Eleuther团队发布了与GPT-3体系结构相同的GPT-NEO。GPT-NEO的型号大小与OpenAI通过API提供的GPT-3相似，而GPT-JEO运行良好。
许多人还意识到，随着OpenAI的分享，每个人都可以与NLP一起做更多的事情，它还可以促进行业生态的发展，并让更多的人关注NLP。但一方面，它非常燃烧，另一方面，它可以扩展，不能根据自己的需求进行调整。如果您使用其他人开发的API，则很难在自己的技术优势上建立自己的技术优势它。
我们自己的目标是允许NLP受益更多人。许多公司首先使用GPT-3来探索NLP，然后使用我们的工具。但是我相信许多公司又是。首先，我们使用了开源工具。后来，我决定使用一些更多现成的工具，例如GPT-3，Google NLP Service，AWS Colject等。也有一些服务允许这些公司获得NLP API。
简而言之，开源社区的能力很大。我们都是这种不断增长的生态学的成员，一切都是繁荣的。
3
卢卡斯：在过去的几年中，您目睹了NLP削减技术的发展。由于模型变得越来越强，您认为它们的使用情况已经改变吗？例如，您是否有每个人都在做的事情现在，但是几年前没有做过或无法做到这一点？
克莱门特（Clément）：使用变压器的5,000家公司中，大多数公司中的大多数公司现在都将变压器用于实际生产，这是5年前没有进行的。许多应用程序方案是新的，要么是以前无法完成。它是人为完成的，例如内容审查，机器的客户服务分类功能可以替代大量的劳动力。Gmail的自动完成功能也非常强大。它极大地提高了工作效率。在过去的几个月中，当我写电子邮件一半时，此功能减少了工作量。
现在，大多数搜索引擎都依赖NLP技术和变压器模型，该模型改变了许多产品的构建。GPT-3模型已将NLP技术推广到企业家领域，许多公司也开始使用NLP技术来制造NLP技术从头开始的产品。Google搜索可能是NLP技术最著名的产品。
我经常想，如果今天有今天的NLP技术基金会在开展业务时会发生什么？不同位置的不同设备）可以使用当前的NLP文档分析技术，该技术可以分析文件。它可以自动生成“太长，不要阅读太长”。
如果Twitter使用当前的NLP技术，其推动信息流可能会大不相同。它不仅会推动您当前的热门消息，而且会根据记录呈现您可能感兴趣的信息，希望这将有助于减少其他信息不良行为，例如偏见，暴力，种族歧视。
卢卡斯：大约15年前，我与文本生成和NLP技术接触。有点奇怪。即使NLP技术是如此高级，实际应用也很小。我记得图灵测试：人类与机器交谈10分钟，判断是通过机器的性能来判断它是人类还是机器，也许这是AGI（通用人工智能）。现在，Agi也得出了许多变体。我总是觉得，在GPT-3和其他文本生成模型之后，机器可以更成功地掩饰为人类，但实际上，我没有看到NLP应用程序到更多字段。
克莱门特：我不同意这一点。当它到达NLP时，每个人都想到智能的语音助手或机器人聊天界面，例如Siri，Alexa等，但是在许多地方我们看不到，NLP也起着作用。
当然，当前的聊天机器人技术还不够成熟，无法帮助人类解决实用问题。我还发现，人们对NLP的态度变得更加谨慎和步骤。
卢卡斯：您对机器人聊天的未来发展感到乐观吗？
克莱门：乐观的脸首先想成为一个有趣的AI朋友，可以与人聊天。当时，我们特别痴迷于NLP技术，并希望克服该领域最困难的问题。从体育比赛到情感问题，但没有成功。
我认为原因是时机尚未成熟，使用现有技术进行开放域对话非常困难。“与人聊天”应该属于NLP的最终目标，因为此过程需要执行同时许多NLP过程，例如提取信息，了解信息，确定对话的意图，分析陈述的含义，对对话的情绪的理解以及对这些过程进行分类，同时也对这些过程进行分类以对这些过程进行分类.ETC。如果对话的语气和语气会改变，然后分析其隐藏的含义。
当前的客户服务聊天机器人已经可以很好地解决一些垂直问题，但是要使机器人像人类一样，需要很长时间。到那时，用户会深深地感受到他们面前的机器人。
卢卡斯：在NLP字段中是否有低估的话题？如果您不从事当前工作，您会做哪个领域？
克莱门特：这是一个很好的问题。几周前（2021年6月）我正在研究语音和文字的相互转换。这应该是几年前已经出现的技术，但是最近它似乎已成为一个利基市场，略微无聊的研究领域。Fair）开发了WAV2VEC，为变压器模型带来了新的进展。
我对此感到特别兴奋，他们提高了语音和文本转换的质量，并从英语扩展到其他语言。如果可以组合NLP和语音文本，则可以颠覆许多产品。例如，如果变焦可以使用NLP技术来使用NLP技术来启动语音-TOXT函数，您可以实现在线会议“自动掌声和欢呼”；或者，当Zoom在屏幕上识别“ Love Live/Great”一词时，筛选中将自动落入大量“ Cheers”的表达中。
几周前，我们在拥抱的脸上举行了一个活动，有300多名参与者为语音文本转换模型做出了贡献，涉及100个稀缺语言语料库。为我们提供的方案，建议更多地关注这一领域。
4
卢卡斯：您认为，是什么促进了拥抱面孔的成功？
克莱门特：回顾最受欢迎的开源项目，您会发现他们经历了很长的降水量。我们在两年半前发布了第一个版本，我们仍处于婴儿时期，但是拥抱的脸Transformers绝对是GitHub上最快的机器学习库。
现在，它在Github上获得了超过42,000星，每月安装了超过100万次。800人已经为变形金刚贡献了代码（转换器注意：截至2022年5月，图书馆获得了62,000颗星。实现代码贡献者的主要原因），这些结果的主要原因是弥补了差距在科学和生产之间，许多开源软件和公司都没有这样做。
我认为，与软件工程1.0或计算机科学相比，尽管计算机科学具有“科学”名称，但实际上不是科学驱动的主题。真正的阅读和研究论文不会遵循计算机科学的“科学”和“科学”。机器学习属于科学的真实领域，所有这些领域源自世界各地的数十个出色的NPL团队，以创建许多模型，例如Bert，T5和Roberta。
我们的变形金刚库是为这些研究人员提供一个平台，以展示他们想要共享的模型，并测试他人的模型以研究这些模型的内部体系结构。在同一时间，Transformers库旨在创建一个非常简单的抽象这使所有NLP领域的参与者都可以在研究人员发布模型后的几个小时内使用这些模型。
每当研究人员在变形金刚库中发布新模型时，就会产生神奇的网络效果。People关注这些模型，谈论这些模型，并在变形金刚中测试这些模型。他们将其用于工作，投资于生产并进行他们的工作。最好支持这些模型。
对于科学家而言，他们也很高兴看到他们的研究看到和影响整个社会，反过来，他们还将推动他们创建和分享更多的模型。这种良性的周期将使我们的项目发展速度比传统的开源项目更快，并且在市场和机器学习领域引起了共鸣。
卢卡斯（Lukas）：从最初的模型想象力中最出乎意料的挑战是什么？用户在使用平台时仍然有任何困难，还是可以使用此平台来使用它？
克莱门：机器学习模型与传统软件工程非常不同。对于许多公司来说，很难从后者过渡到前者。对于机器学习模型缺乏解释性，很难预测模型的输出结果，并且很难调整模型。软件工程师一直被用来清楚地定义所需结果的结果。因此，对于他们的思维改变并不容易。在我看来，对机器学习的理解是最困难的部分，甚至比技术问题更加困难。
从技术的角度来看，我很高兴看到该模型变得越来越大，但它也需要更多的技能和更大的努力来投入生产应用程序。com/2020/05/缩放 - 伯特 - 伯特 - 每日重复时间 - cpus/），解释了他们如何使用distilbert在一天之内处理超过10亿的推理，但仍然存在挑战，并且有必要提高基础设施能力。
卢卡斯：您如何看待该领域的竞争？
克莱门特：我一直坚持的最坚持之一是：在NLP或机器学习领域，最糟糕的情况是与整个科学和开源社区竞争。
我以前来到这里。我是法国人，我在巴黎的一家初创公司中完成了计算机视觉工作。是巨人或大学中数百个研究实验室。尽管并非每个实验室都比我们更好，但竞争对手太多和巨大的压力。您可能能够在一段时间内超越对手，这是一两天的风景，但是很长一段时间后它可能会超过。
因此，我们不再尝试竞争并选择赋予开源和科学界的能力。通过开源模型，您可以为改进建筑和数据库提供灵感。弹性和MongoDB是一个很好的例子。他们的行为表明，初创公司可以在某些方面赋予社区能力。该方法生成的值比构建专有工具生成的值高数千倍。
您无需从创建的价值中获得100％的股息，而只能将价值的1％货币化并维护公司的运营。但是即使仅1％，它也足以使您成为高市场价值公司MongoDB就是一个例子。
Elastic和MongoDB都是开源的核心，他们已经成功地开发了，他们也可以居住在市场上。我相信他们的模型也可以在机器学习领域复制。机器学习技术仍处于开发的早期阶段，但我相信它将很快在春季迎来。在接下来的5到10年中，将有1到10个开源机器学习。公司的崛起。
（本文已被编译和授权，原始视频：https：//www.youtube.com/watch?v=sjx9fsnr-9q））
欢迎体验Oneflow v0.7.0的最新版本：https：//github.com/oneflow-ic/oneflow/
原始：https：//juejin.cn/post/70963737423784967