当前位置: 首页 > 科技观察

GitHub万星NLP资源大升级:Pytorch与TF深度互通,32个最新模型

时间:2023-03-16 12:48:22 科技观察

本文经AI新媒体量子比特(公众号ID:QbitAI)授权转载,转载请联系出处。GitHub上最火的NLP项目,拥有13000+star,现在迎来大更新。刚刚,抱脸团队发布了变形金刚2.0版本。一方面,实现了TensorFlow2.0和PyTorch之间的深度互操作。您可以在TPU上训练模型,然后在Pytorch上进行测试,最后通过TensorFlow进行部署。另一方面,还集成了超过32个以100多种语言预训练的模型。最新的NLP架构,如BERT、GPT-2、XLNet、RoBERTa、DistilBert、XLM等都包含在内。更新发布后,业内人士纷纷发出各种感叹:这太酷了!Goodjob!,That'sawesome,Hotdamnthisisamazing!,Jeschrist.transformers2.0,最全的NLP库更直接一点,transformers2.0项目是NLP领域SOTA的集合。SQuAD排行榜上的选手全部囊括在内,一共有8大架构可供选择:BERT、XLNet,这些重量级选手不用多说。最新的RoBERTa和GPT-2774M版本已经更新。还有两种XLM架构在XNLI跨语言分类任务上优于多语言BERT。此外,还有Hugging自己的DistilBERT,它是更小、更快、更便宜、更轻量级的BERT版本。刚刚在7月底将BERT拉回GLUE榜单前列的RoBERTa,也几乎是立即被集成到pytorch-transformers库中。所有这些架构都已在SQuAD数据集上进行了测试,与原始实现的性能相匹配。在这些架构下,有100多种语言的超过32个预训练模型。使用起来也很方便,只需要一个API就可以调用。在线Demo,现场试用NLP世界的超级模型。有什么技巧?火宝链也在官网搭建了WriteWithTransformer。真正的AI可以帮助您在线撰写论文和故事。然而,在线服务的模型只有GPT、GPT-2和XLNet。如果想完整使用整个Transformer库,安装起来并不难。官方提供的repo已经在Python2.7和3.5+、PyTorch1.0.0+、TensorFlow2.0.0-rc1中进行了测试。安装TensorFlow2.0和/或PyTorch后,通过pip安装:pipinstalltransformers,然后在本地克隆库:pipinstall[--editable]。示例测试可以在pytest上运行:python-mpytest-sv./transformers/tests/python-mpytest-sv./examples/甚至,你可以在移动设备上运行这些模型,repo地址:https://github.com/huggingface/swift-coreml-transformers从pytorch-transformers到transformers这个项目,原名pytorch-pretrained-bert,在1.2版本改名为pytorch-transformers,现在变成了transformers。从名字的变化,也可以看出它的功能越来越强大。在2.0版本中,实现了TensorFlow2.0与PyTorch的深度互操作,这也可能是名称中去掉“pytorch-”的直接原因。在GitHub项目中,他们还现场演示了如何用12行代码训练出TensorFlow2.0模型,然后放到PyTorch中进行快速检测和测试:当然,这个库还有更强大的功能等着你去发现,如果你是NLP领域的从业者或研究者,千万不要错过。项目链接:https://github.com/huggingface/transformers关于HuggingFace虽然看起来很可爱,但HuggingFace并不是一个小型的兴趣小组,而是一个正经的AI创业公司。他们的目标是打造一个真正的社交人工智能,并在这个过程中不断贡献科技力量。在NLP领域,他们的论文已发表在ICLR、NeurIPS、AAAI等国际顶级会议上。他们在广受欢迎的项目变压器上的持续工作证明了他们的坚持,并为他们赢得了广泛的声誉。看到变形金刚2.0项目的更新,有网友评论说:每次听到Huggingface,就好像看到了集训归来的“悟空”(龙珠)的动作。每个人都对他们的进步感到敬畏和难以置信。