作为一名深度学习研究者,深感模型训练的困扰:一个模型跑了几天几夜,最后发现有一步错了……从头开始,再说,没有无论你如何调整超参数,你都无法提高准确性。真累。。。手动调整系统环境,只要一出错,就跑不起来了。仅训练模型通常就需要花费大量时间,变了又变了,久等了,我真的是在心里默默的流泪!然后,我发现我还能再次拯救它——坚定的AI驾着七彩祥云来救我!很多深度学习研究者也曾遭受过这种苦恼,深受感动,经过数年的努力,终于研发出一款方便广大深度学习从业者使用的训练神器。这个深度学习训练平台由从事该领域多年的专家历时三年打造完成。他们的目标是帮助深度学习团队更快地训练模型、轻松共享GPU资源并有效协作。Determined使深度学习工程师能够专注于大规模构建和训练模型,而无需担心DevOps,或为容错或实验跟踪等常见任务编写代码。官网链接:https://determined.ai/developers/“等一下,里面是什么,能不能详细解释一下!”好吧,那我看一下,然后给你看。专注模型训练,更快更准!众所周知,一个完整的深度学习项目包括数据准备、模型训练、模型部署;而Determined可以帮助我们更好地专注于模型本身的训练,而不是花费大量的时间和精力在样本上。代码和DevOps。对于模型训练部分,Determined可以帮助我们完成:更快的分布式训练智能超参数优化实验跟踪和可视化这样,它可以让我们专注于手头的任务——即训练模型。培训师可以立即进入为深度学习工作创建的专用环境,然后花时间设置模型,而无需担心安装、拆卸和其他示例代码。看到这里,我想说开发商真的很贴心,他们知道我们不想花时间做什么,真的很感谢*100!那么这个神器能为我们做什么呢?内置训练循环抽象,支持实验跟踪、高效数据加载、容错和灵活定制。无需任何代码更改的高性能分布式训练。基于前沿研究的自动超参数优化。有了这些功能,模型训练就是这么简单!老板再也不用担心我的模特了!只需点击官网链接即可体验这些功能:接下来,我们来看看与模型训练密切相关的两个部分——分布式训练速度和智能超参数优化。主要使用Horovod。从Horovod开始,研究人员利用多年的专业知识和经验,使得整个训练过程比库存配置要快得多。通过这种方式,我们可以减少浪费的时间,更好地利用计算机硬件来实现高效的训练速度。这里科普一下Horovod:Horovod是TensorFlow的分布式训练框架,由Uber构建并开源,目前运行在Uber的Michelangelo机器学习即服务平台上。Horovod简化并加速了分布式深度学习项目的启动和运行。当数据量很大或者模型很大时,为了提高机器学习模型的训练效率,一般会采用多GPU分布式训练。TensorFlow集群有很多缺点,比如概念太多,学习曲线陡峭,修改代码量大,性能损失大。然而,Horovod使深度学习变得更好。随着规模的增大,Horovod的性能基本呈线性增长。是的,loss比TensorFlow小很多。更多关于Horovod的信息,可以点击下方链接学习了解~《是时候放弃TensorFlow集群,拥抱Horovod了》https://www.infoq.cn/article/J4ry_9bsfbcNkv6dfuqC使用确定,我们的分布式模型训练速度它能有多快?下图告诉我们可以达到24次!!PS:真的快多了,不好意思。。。超参优化提供最前沿的与任务紧密结合的智能搜索功能,以及默认的并行设置,开发者帮我们免去了传统超参搜索调试的麻烦。这样,我们就能以更快的速度获得更准确的模型。使用Determined可以将超参数优化的速度提高多少倍?100次!看到这里,真的很感动……加时可以用来玩动森吗?反正有正当理由:为ACAL2020做准备哈哈~GPU调度更灵活,支持各种流行的框架确定也可以更灵活的进行GPU调度,包括:1)动态调整训练任务的大小2)自动管理AWS上的云资源与GCP同时,它还可以支持TensorBoard和基于GPU的JupyterNotebook。(亲爱的朋友也可以在这个平台上使用!!)《Tensorflow和Pytorch都可以支持吗?》——吃瓜路人忍不住哦对了,还有一个关键点,就是在使用这个平台的同时,我们可以继续使用Tensorflow和Pytorch,只需要改一下模型的代码,实现DeterminedAPI。是不是很方便!平台透明公开,用户服务完善。深度学习团队协作工具该平台透明、开放、方便团队协作。非常适合深度学习团队:通过实验跟踪、日志管理、指标可视化、可重复性和依赖性管理等确定,帮助任何人在实验管理上脱颖而出。该平台非常适合任何规模的团队。从一个团队开始,用户可以在准备好后轻松共享和扩展工作。开源,与各种云供应商合作DeveloperAdvice:深度学习从业者可以选择跳出专有解决方案:“确定可以支持云平台,或本地基础设施,甚至两者。该平台可以运行在你选择的深度学习框架中工作,并随时导出到流行的服务框架。”使用本平台,您可以通过非常简单的步骤就可以开源项目,从而造福其他小伙伴~详细的用户文档确定现在有正式的用户手册,用户可以随时查阅和参考:https://docs.determined.ai/latest/还有一个简单易用的教程:最后,开发者还附上了一个Slack链接,这样任何人都可以与Determined开发团队进行交流,并提供反馈和沟通:这里是项目开源地址,感兴趣的小伙伴可以马上去GitHub体验:https://github.com/determined-ai/determined
