之前很多媒体都在讨论神经网络的“黑匣子”（blackbox）。复杂模型在预测工作负载方面做得很好，但在回溯系统如何得出最终结果时，根本没有一种清晰的方法来了解什么是对的，什么是错的，或者模型是如何启动的，得出结论。对于老式的机器学习模型来说，这不是什么大问题；这是当今非线性潜在数据结构和无数参数的问题。对于为科学应用部署神经网络的研究人员而言，黑盒缺乏可重复性是验证的障碍，而对于深度学习框架的生产用户而言，缺乏可见性会阻碍深度学习。理解网络行为还有其他问题，特别是在优化模型以获得更好的性能、效率和准确性方面。解决这个问题的一种方法是可视化神经网络模型——这是社交媒体巨头Facebook和佐治亚理工学院的研究人员正在研究的东西。Facebook的深度学习用例不仅限于图像分析，这意味着不同类型的数据被输入模型。不幸的是，大多数用于神经网络可视化的工具都集中在图像数据集上，这激发了Facebook研究一种名为ActiVis的工具用于Facebook的生产环境，这是一种用于解释大规模神经网络模型和结果的交互式可视化系统。佐治亚理工学院研究团队一年多前开始与Facebook工程师合作，以了解他们的分析平台以及哪些可视化工具可以发挥作用。除了开发这样一个工具的重大技术挑战之外，除了能够集成到Facebook现有的机器学习平台之外，这样一个工具还将“灵活且可扩展到像Facebook这样的公司用于他们的许多产品和服务。”模型和数据集”。该平台由几个不同的机器学习元素组成。核心元素是Facebook的统一机器学习平台，称为FBLearnerFlow，它协调不同的机器学习工作流程。Flow的目标是让开发人员训练模型并查看结果无需编写代码。ActiVis支持两种解释策略，用于可视化和比较多个实例和子集。它统一了基于实例的检查和基于子集的检查；它紧密集成了复杂模型的概览和本地检查，并且具有灵活性和可扩展性，可支持广泛的行业规模数据集和模型——对于那些想要定位其数据的人来说，Facebook中的这个工具对于那些使用现有工具的人来说是无价的模型，但不想深入了解实现的细节。ActiVis特别关注用于可视化的FBLearnerFlow，部分原因在于它的用户群。“ActiVis通过直观地展示用户指定的实例或实例子集如何激活神经元，帮助用户了解模型如何得出预测。用户可以使用原始数据属性、转换后的特征和输出结果自由定义子集，可以从多个角度访问这些子集以检查模型。”佐治亚理工学院团队表示，对于大规模设计此类可视化系统的任何人来说，为神经网络构建可靠平台涉及多个要素。他们提到了输入源和数据格式的多样性、大数据量、复杂的模型架构，等等。“虽然许多现有的深度学习可视化工具都支持基于实例的探索，但ActiVis是第一个同时支持深度神经网络模型的基于实例和基于子集的探索的工具。此外，为了帮助用户理解模型的概述，它以图形方式展示了模型架构，用户可以从中向下钻取，在每个模型层或节点的级别对神经元激活进行局部检查。”该团队表示，他们希望为了使用这个可视化工具的Facebook开发者，在FBLearnerFlow界面中添加了几行代码，告诉模型训练过程：它需要生成可视化的数据。训练结束后，界面提供了一个链接到这个web-基于可视化和探索模型的工具。“ActiVis旨在处理Facebook的许多不同模型和数据集。由于经常使用复杂的模型和大型数据集，因此ActiV的可扩展性和灵活性非常重要，这样工程师可以轻松地将ActiVis用于他们的模型，”该团队说。用户可以可视化和探索处理分析任务的模型。”***可视化神经网络解决黑盒问题的网络并不是什么新鲜事，但随着模型变得越来越复杂——由于硬件和数据越来越多，未来将更需要这样的工具。我们预计在未来几年内，类似的可视化工具将插入到关键平台（包括TensorFlow、Caffe等）将以这种方式开源，甚至可能商业化，用于生产环境和科学计算用例。
