解决问题往往需要大量工具的支持,深度学习也不例外。如果说有什么不同的话,那就是在不久的将来,用好这个领域的工具会越来越重要。深度学习虽然是一颗冉冉升起的“超新星”,但仍处于发展初期。许多工程师和该领域的有志之士都在为深度学习的高效过程而努力。除了人才的涌现,我们也正在见证越来越多的深度学习工具的诞生,这有助于推动深度学习曲折的发展历程,增加其便利性和效率。深度学习正逐渐从学术界和专家的理论研究走向更广阔的天地,深度学习爱好者希望投身其中(方便),越来越多的工程团队希望操作简单化(效率)。伴随着这个过程,我们还整理了一张最新深度学习工具的图表。研究深度学习生命周期为了更好地评价高效便捷的深度学习工具,首先要了解深度学习生命周期的概况。(受监督的)深度学习应用程序的生命周期由几个不同的步骤组成,从原始数据开始到实时预测结束。典型的深度学习生命周期?2018Luminovo数据源任何深度学习技术应用的第一步都是确定正确信息的来源。如果幸运的话,您会很容易找到可用的历史数据。否则,您搜索开源数据集、从网页中提取信息、购买原始数据或使用模拟数据集。由于此步骤取决于手头的具体技术应用,因此我们未将其包含在本文末尾的工具图中。不过请注意,像GoogleDatasetSearch或Fast.aiData这样的网站将为我们省去很多麻烦。数据注释监督深度学习技术的许多应用涉及图像、视频、文本和视听材料的处理。在模型训练之前,原始数据(未处理的数据)应该被标记为真实值(真实有效值)。数据标记既费钱又费时。在理想的设置中,数据标注往往与模型训练和模型部署密切相关,并尽可能(虽然目前效果不理想)对深度学习训练模型进行调整。数据版本控制(假设你有一个智能标签管道,随着数据集的增长不断重新训练模型)数据随着时间的推移而演变,时间越长,你更新数据集的版本越重要(这与更新代码相同并经常训练模型)。硬件规模对于模型训练和模型部署非常重要——使用合适的硬件规模。随着模型训练从本地服务器发展到大规模实验,硬件规模也需要适当调整。这与部署模型时根据用户需求调整硬件规模是一样的。模型结构要开始模型训练,您需要选择神经网络模型结构。提醒:如果你有一个标准的问题(比如在网上找猫相关的表情包),这意味着你只需要在GitHub开源代码库中找到一个state-of-the-art模型并直接复制,但是有的为了提高性能,就得自己去调整自己的模型结构。随着神经架构搜索(NeuralArchitectureSearch)等新方法的出现,选择合适的模型架构逐渐纳入模型训练的步骤,但对于2018年的大部分技术应用来说,使用NAS的性价比还不够高.当人们想到深度学习技术应用的编码时,首先想到的是模型结构,但这只是深度学习运行周期的一小部分,一般来说这不是最重要的部分。模型训练在模型训练中,需要将标注数据输入神经网络,通过迭代更新权重(即参数),使损失(函数)最小化。一旦确定了指标,就可以使用许多不同的超参数集(例如学习率、模型架构和可选的预处理步骤)来训练模型,这个过程称为超参数调整。模型评估如果你不能从一个坏模型中识别出一个好的模型,那么训练一个神经网络是没有用的。在模型评估中,您通常会选择一个指标进行优化(并且您可以观察到许多不同的指标)。对于此指标,您通常会找到一个从训练数据推广到验证数据的最佳模型。这需要跟踪和记录不同的实验数据(不同的超参数、模型结构和数据集)和性能指标,可视化训练模型的输出,并比较实验。如果没有合适的工具来辅助,尤其是当许多工程师都在使用同一个深度学习数据管道时,这个过程很快就会变得混乱和混乱。模型版本管理这是模型评估和模型部署之间的一个小环节(但仍然值得一提):为不同版本下的模型添加标识符。当最新版本不符合您的预期时,您可以通过这个标识符轻松返回到上一个工作版本。模型部署如果您愿意将模型的一个版本投入生产,则需要部署模型以便用户(人或其他应用程序)可以与之交互:用户可以向它发送数据请求并接收模型做出的预测。理论上,模型部署工具支持版本之间的增量更改,因此您可以预测新生产模型的性能。监控预报模型部署后,一定要密切关注模型的现场预报数据,时刻关注它的数据发布和运行性能,防止用户发现问题后上门投诉与模型。提醒:上面提到的流程图已经体现了深度学习工作流程的循环性。事实上,成功的深度学习应用程序的关键之一是将已部署模型和新添加的标记之间的反馈循环(即人机循环)视为深度学习工作流程的核心部分。与描述的流程图相比,深度学习在现实中的操作要复杂得多。你会发现深度学习在运行中存在很多问题:“跳千里”(比如在处理预处理后的数据集时跳过步骤),“重蹈覆辙”(模型性能数据不够准确,soyouneedtocollectmoredata),"ghostHittingthewall"(陷入死循环,比如建模-训练-评估-训练-评估-建模)。强烈推荐——深度学习工具一览知识是有价值的分享,下图简要列出了当今市场上最有前途的深度学习工具。这些工具是由深度学习工程师为所有有兴趣为深度学习这一令人敬畏的技术做出贡献的人开发的。
