从事机器学习的朋友，难免要在各种数据集上对AI模型打分。现在，PaperswithCode（论文查代码神器）团队推出了自动跑分服务sotabench，以跑通所有开源模型为己任。有了它，你无需上传代码，只需连接GitHub项目，云端GPU帮你跑分；每次提交新的提交时，系统都会自动更新分数。还有世界排行榜，可以观察各个强手的成绩。除了支持各大主流数据集外，还支持用户上传自己的数据集。也可以看看别人论文的结果靠不靠谱。比如forkFacebook的FixRes项目，配置评估文件：然后一键关联，让Sotabench的GPU跑ImageNet的图像分类测试。可以得到这样的结果：Top-1准确率、Top-5准确率、与论文结果的差距（见注释）、运行速度、全球排名，一目了然。注：ε-REPR，如果结果与论文结果的差异在0.3%以内，打勾，如果差异≥0.3%且比论文结果差，会显示为红叉，如果差比论文结果好，会显示为打勾+这个免跑神器，发布一天，受到热烈欢迎：推特600+赞，Reddit270+。网友纷纷表示：这对开发者社区太有用了！那么，我们先来看看sotabench的功能和使用方法。用法简单，海纳百川团队说sotabench是PaperswithCode的孪生姐妹：PaperswithCode大家都很熟悉了，它观察的是paperreports的跑分。可以用来查找高分模型对应的代码，是造福人类的利器。作为它的补充，sotabench观察开源项目，代码实际运行的结果。你可以测试自己的模型，也可以验证其他模型是否像论文说的那么强。它支持与其他模型进行比较，并支持查看速度和准确性之间的权衡。那么，如何使用sotabench呢？很简单，只需两步。第一步是在本地评估模型：在GitHub项目的根目录下，创建一个sotabench.py??文件。它内部可以包含：加载、处理数据集以及从中得出预测所需的逻辑。每次提交提交时，该文件都会运行。然后，针对开源基准库运行您的模型。这个库可以是sotabench-eval，不问框架，包含ImageNet等数据集；也可以是torchbench，它是一个PyTorch库，配合PyTorch数据集加载器更容易吃。运行成功后，就可以进行下一步了。第二步是连接到GitHub项目，sotabench会帮你运行：点击这个按钮连接到你的GitHub账户，就会出现各种项目。选择要测试连接的项目。连接后系统会自动测试你的master，然后记录正式结果。一切都在云GPU上运行。测试环境是根据requirement.txt文件搭建的，所以把这个文件添加到repo中，让系统抓取你使用的依赖。之后，每次提交commit，系统都会帮你重新跑分，确保分数是最新的，更新后的模型还在工作。这样，如果模型出现bug，也能及时获知。如果你想运行别人的模型，只需将它分叉到你自己的。目前sotabench已经支持部分主流数据集：榜单还在更新中，团队也诚邀各界大侠共同充实benchmark家族。它支持创建新的基准和向现有基准添加新的实现。您可以向sotabench-eval或torchbench项目提交PR，也可以直接创建一个新的Python包。准备好后，在sotabench官网的论坛上发新话题，团队会把你的benchmark加进去：推出好评如潮的服务，网友点赞，好评如潮，推特600赞+.有网友表示：太好了！对于初学者来说，数据集获取、预处理和评估的自动化和标准化可能很有用。通过分析不同的模型及其超参数结果来评估这些模型本身就很困难，而且你必须查阅各种论文中的大量非结构化数据。有了这个，这件事就简单多了。（部分翻译）许多网友对这个项目进行了友好的讨论和建议，开发者也在网上积极响应。比如这位网友提出：模型的超参数可以每次提交都上报吗？作者连忙回复：英雄见仁见智。将在下次更新中添加它！此外，他们正在考虑允许用户在未来的更新中添加指向生成模型训练参数的链接。传送门sotabench官网：https://sotabench.com/基准库通用版：https://github.com/paperswithcode/sotabench-eval基准库PyTorch版：https://github.com/paperswithcode/torchbench
