作为一名深度学习研究者，深感模型训练的困扰：一个模型跑了几天几夜，最后发现有一步错了……从头开始，再说，没有无论你如何调整超参数，你都无法提高准确性。真累。。。手动调整系统环境，只要一出错，就跑不起来了。仅训练模型通常就需要花费大量时间，变了又变了，久等了，我真的是在心里默默的流泪！然后，我发现我还能再次拯救它——坚定的AI驾着七彩祥云来救我！很多深度学习研究者也曾遭受过这种苦恼，深受感动，经过数年的努力，终于研发出一款方便广大深度学习从业者使用的训练神器。这个深度学习训练平台由从事该领域多年的专家历时三年打造完成。他们的目标是帮助深度学习团队更快地训练模型、轻松共享GPU资源并有效协作。Determined使深度学习工程师能够专注于大规模构建和训练模型，而无需担心DevOps，或为容错或实验跟踪等常见任务编写代码。官网链接：https://determined.ai/developers/“等一下，里面是什么，能不能详细解释一下！”好吧，那我看一下，然后给你看。专注模型训练，更快更准！众所周知，一个完整的深度学习项目包括数据准备、模型训练、模型部署；而Determined可以帮助我们更好地专注于模型本身的训练，而不是花费大量的时间和精力在样本上。代码和DevOps。对于模型训练部分，Determined可以帮助我们完成：更快的分布式训练智能超参数优化实验跟踪和可视化这样，它可以让我们专注于手头的任务——即训练模型。培训师可以立即进入为深度学习工作创建的专用环境，然后花时间设置模型，而无需担心安装、拆卸和其他示例代码。看到这里，我想说开发商真的很贴心，他们知道我们不想花时间做什么，真的很感谢*100！那么这个神器能为我们做什么呢？内置训练循环抽象，支持实验跟踪、高效数据加载、容错和灵活定制。无需任何代码更改的高性能分布式训练。基于前沿研究的自动超参数优化。有了这些功能，模型训练就是这么简单！老板再也不用担心我的模特了！只需点击官网链接即可体验这些功能：接下来，我们来看看与模型训练密切相关的两个部分——分布式训练速度和智能超参数优化。主要使用Horovod。从Horovod开始，研究人员利用多年的专业知识和经验，使得整个训练过程比库存配置要快得多。通过这种方式，我们可以减少浪费的时间，更好地利用计算机硬件来实现高效的训练速度。这里科普一下Horovod：Horovod是TensorFlow的分布式训练框架，由Uber构建并开源，目前运行在Uber的Michelangelo机器学习即服务平台上。Horovod简化并加速了分布式深度学习项目的启动和运行。当数据量很大或者模型很大时，为了提高机器学习模型的训练效率，一般会采用多GPU分布式训练。TensorFlow集群有很多缺点，比如概念太多，学习曲线陡峭，修改代码量大，性能损失大。然而，Horovod使深度学习变得更好。随着规模的增大，Horovod的性能基本呈线性增长。是的，loss比TensorFlow小很多。更多关于Horovod的信息，可以点击下方链接学习了解~《是时候放弃TensorFlow集群，拥抱Horovod了》https://www.infoq.cn/article/J4ry_9bsfbcNkv6dfuqC使用确定，我们的分布式模型训练速度它能有多快？下图告诉我们可以达到24次！！PS：真的快多了，不好意思。。。超参优化提供最前沿的与任务紧密结合的智能搜索功能，以及默认的并行设置，开发者帮我们免去了传统超参搜索调试的麻烦。这样，我们就能以更快的速度获得更准确的模型。使用Determined可以将超参数优化的速度提高多少倍？100次！看到这里，真的很感动……加时可以用来玩动森吗？反正有正当理由：为ACAL2020做准备哈哈~GPU调度更灵活，支持各种流行的框架确定也可以更灵活的进行GPU调度，包括：1）动态调整训练任务的大小2）自动管理AWS上的云资源与GCP同时，它还可以支持TensorBoard和基于GPU的JupyterNotebook。（亲爱的朋友也可以在这个平台上使用！！）《Tensorflow和Pytorch都可以支持吗？》——吃瓜路人忍不住哦对了，还有一个关键点，就是在使用这个平台的同时，我们可以继续使用Tensorflow和Pytorch，只需要改一下模型的代码，实现DeterminedAPI。是不是很方便！平台透明公开，用户服务完善。深度学习团队协作工具该平台透明、开放、方便团队协作。非常适合深度学习团队：通过实验跟踪、日志管理、指标可视化、可重复性和依赖性管理等确定，帮助任何人在实验管理上脱颖而出。该平台非常适合任何规模的团队。从一个团队开始，用户可以在准备好后轻松共享和扩展工作。开源，与各种云供应商合作DeveloperAdvice：深度学习从业者可以选择跳出专有解决方案：“确定可以支持云平台，或本地基础设施，甚至两者。该平台可以运行在你选择的深度学习框架中工作，并随时导出到流行的服务框架。”使用本平台，您可以通过非常简单的步骤就可以开源项目，从而造福其他小伙伴~详细的用户文档确定现在有正式的用户手册，用户可以随时查阅和参考：https://docs.determined.ai/latest/还有一个简单易用的教程：最后，开发者还附上了一个Slack链接，这样任何人都可以与Determined开发团队进行交流，并提供反馈和沟通：这里是项目开源地址，感兴趣的小伙伴可以马上去GitHub体验：https://github.com/determined-ai/determined
