躺了将近三个月的OpenAI博客终于更新了。此次，它为AI研究人员带来的作品是《OpenAIMicroscope》，中文译为OpenAIMicroscope。这意味着它可以像实验室里的显微镜一样工作，帮助人工智能研究人员更好地理解神经网络的结构和特性。博客地址：https://openai.com/blog/microscope/毕竟这个显微镜更像是一个神经元可视化库，里面包含了具有历史意义和普遍研究的计算机视觉模型，比如2012年ImageNet挑战赛冠军AlexNet，2014年ImageNet冠军GoogleNet（又名InceptionV1）和ResNetv2。OpenAIMicroscope显微镜地址：https://microscope.openai.com/models如上图所示，初始版本包含8个计算机视觉领域的神经网络模型。每个神经网络可视化一些重要神经元的内部结构。OpenAI在研究中提到：现代神经网络模型的强大能力来自于成千上万个神经元的相互作用，但神经元之间的“协作”一直是个谜。OpenAI发布的显微镜可以帮助快速探索这些神经元。元。例如，研究人员可能会推测：InceptionV14c:447是由车轮检测器(4b:373)和窗户检测器(4b:237)构建的汽车检测器。InceptionV14c:447是一个汽车检测器，由车轮检测器(4b:373)和窗户检测器(4b:237)组成。然后，使用OpenAI显微镜，您可以评估该推测并发现新事物。比如OpenAI显微镜对AlexNet的观察，如上动图所示，从最初的完整图片开始，经过神经网络提取特征，最后将图片“模糊”成一些彩色的线条。（雷锋网（公众号：雷锋网））这中间发生了什么？显然，弄清楚神经网络中间发生了什么很重要。如上，点击神经网络的每一层，OpenAI显微镜会直观地展示处理图片的过程，每个神经元会对应一张处理过的图片。非常清楚地展示了每张图片的“递进”过程。根据OpenAI的说法，这种探索神经元的过程为另一项神经网络可解释性研究提供了意想不到的帮助《Zoom In: An Introduction to Circuits》。“显微镜”技术基于两个概念：模型中的位置和技术。说得形象一点，位置就是你把显微镜瞄准的地方，技术就是你给它配上什么样的镜头。模型由“节点”（神经网络层）图组成，这些节点通过“边”相互连接。每个操作由数百个“单元”组成，大致类似于神经元。值得注意的是，它使用的大多数技术仅在某些分辨率下有用。例如，特征可视化只能指向一个“单元格”，而不能指向其父“节点”。此外，在给出这个工具的同时，OpenAI也为可解释性研究做出了一些贡献：1.所有模型和可视化都是开源的，“显微镜”中的所有可视化都是使用lucid库生成的。2.将模型和神经元相互关联的能力允许立即审查和进一步探索神经元。3.可访问性，通过共享可视化研究保持高可访问性。正如生物学家专门研究少数“模型生物”一样，“显微镜”也专门研究少数模型的细节。OpenAI的初始版本包括九个常用的视觉模型，并将在未来几个月扩展到其他模型。也就是说，目前只提供了DeepDream和函数可视化功能，还不支持自定义模型可视化探索。可解释性研究：来自DeepDream可解释性和确定性是机器学习系统的一个广泛主题，试图理解神经网络在这些层的功能中究竟做了什么是一个巨大的挑战。但是要弄清楚如何选择初始化参数，有必要了解神经网络的本质。人工智能研究人员也一直在朝这个方向努力。除了Microscope下的神经元可视化，近年来的一些工作也尝试了机器学习模型的可视化。（雷锋网）例如，Facebook去年春天推出了Captum，它尝试使用可视化技术来解释机器学习模型做出的决策。作为一个基于Pytorch的模型解释库，功能强大、灵活易用，提供所有最新算法的解释，可以帮助研究人员和开发人员更好地理解影响模型预测结果的具体特征、Neurons和神经网络层。当时，Facebook还推出了CaptumInsight的试用版，它建立在Captum之上，提供解释性可视化功能。2019年3月，OpenAI和谷歌还发布了ActivationAtlases，用于可视化机器学习算法做出的决策；（雷锋网）如果把之前的研究比作算法的视觉字母表，显示单个字母，活动图集提供整个词典，显示字母如何组合在一起构成实际词汇。激活图谱建立在特征可视化的基础上，将焦点从单个神经元转移到可视化这些神经元共同代表的空间。显然，如今“显微镜”的这部作品，也融合并使用了之前的激活图技术。从根本上说，所有这些可视化研究都可以归结为一项名为DeepDream的早期实验，这是一项于2015年发布的计算机视觉计划，旨在将任何图片变成其自身的“虚幻”版本。DeepDream展示了google神经网络模型对输入图像的理解，类似于“DeepDream”。由于其奇特的画风，在某些方面被认为定义了所谓的人工智能美学。或许，从那时起，AI研究人员对神经网络模型眼中的世界产生了好奇，并开启了通往可解释性的道路。正如OpenAI的ChrisOlahOlah曾经说过的那样：“在某些方面，这一切都始于DeepDream。”
