即使以大规模并发方式访问数据集，128个计算节点的模拟处理速度仍然不理想。如何解决这个问题呢？ 如果你想不出答案，那么结果一定是使用flashcache来构建缓冲区；当然你也可以尝试选择基于NVMe闪存盘的虚拟SAN，这就是NASA的解决方案。 NASA的高级超级计算(NAS)设施位于NASA艾姆斯研究中心。其高端计算能力项目(HECC)旨在帮助科学家和工程师使用超大规模建模、模拟、分析和可视化解决方案，以确保NASA太空任务的成功。 作为该项目的一部分，航天局开发了Hyperwall系统，这是一个垂直16列，水平8行的超大显示屏，用于显示大规模场景下的视觉模拟结果。其模拟对象包括ECCO（即OceanCirculationandClimateAssessment）等多个项目，涉及大量的流场寻路计算。此类模拟任务通常涉及由NASA超级计算机和各种仪器生成的大型高维数据集。 科学家可以使用多种不同的工具、观点和参数来展示相同的数据或数据集，并通过可视化机制检查模拟结果。 目前的问题是Excelero的NVMesh存储方案如何以理想的速度支持Hyperwall庞大的128台显示器和130个计算节点（128个计算节点加2个备份节点）。这之所以如此困难，是因为涉及到庞大的数据集，以及大量小而随机的IO操作。磁盘驱动器使用的Lustre文件系统不够好。这种理论性能为每秒80GB的文件系统在实际数据吞吐量方面只能提供超过每秒100MB的性能。NASAAmesHyperwall视觉多屏显示 Hyperwall中的每个计算节点都与一个2TB闪存驱动器配对。程序员会将整个数据集拆分为2TB或更小的块，并将它们复制到每个计算节点。之后，整个可视化过程可以保证使用本地数据进行计算和交互操作，但这种方式会显着增加编程的复杂度。 流寻路涉及两个核心技术： ?使用内核方法处理内存或闪存等高速本地介质中的数据。 ?当数据移动到计算节点之外时，使用核外技术处理数据，即更长的访问时间。 缓慢的模拟速度意味着科学家和工程师只能以较低的效率使用Hyperwall可视化解决方案。正如excelero所说，这就是NVMesh技术的优势所在。ECCO仿真展示结果 NVMeVirtualFlashSAN 如果将所有128个节点上的2TB闪存盘共同聚合成一个资源池，单个256TB的逻辑设备，作为虚拟闪存SAN通过RDMA访问，然后每个闪存驱动器本质上成为每个计算节点的本地存储资源。对于计算节点应用，直接访问网络设备目标，使用RDMA可以取得很好的并发读取效果。 NASA艾姆斯研究中心的可视化团队安装了NVMesh并获得了中央块存储管理功能——包括逻辑卷、数据保护和故障转移——不受传统SAN的限制。性能限制。据Excelero称，这将为可视化、分析/模拟和突发缓冲区使用级别的各种用例提供??理想的性能、经济性和可行性改进。 NVMesh有以下三个主要模块： ?存储管理模块是一套基于WebGUI的集中式RESTfulAPI，负责控制系统配置。 ?目标模块可以安装在任何主机上并共享其NVMe驱动器，客户端对每个驱动器执行初始连接身份验证，然后维护此数据路径。 ?客户端块驱动运行在需要访问NVMesh逻辑块卷的主机/镜像上。 混合部署场景下，客户端和目标模块可以共存于同一台服务器。太空发射系统(SLS)可视化 临时闪存 Excelero指出，在此用例中，256TB虚拟设备尽管由非易失性易失性介质管理，但仍可用作临时存储资源。 因此，无需将所有128个节点/设备都连接到RAID-0逻辑卷，即可实现数据保护。为简单起见，该设备连接到单个节点，使用XFS文件系统并用各种数据填充它。然后可以随意在所有128个计算节点上以只读方式挂载和卸载文件系统。 NVMesh逻辑块卷可以被集群文件系统使用，并且可以很好地防止主机或驱动器故障。 延迟很关键 加入这个NVMesh解决方案，相比本地NVMe驱动延迟增加了5微秒的数据访问延迟，其中大部分延迟是由网络引起的。 科学家和工程师不需要在程序层面限制数据位置；所有数据访问行为都在每个计算节点本地实现。根据flexibleIO测试工具（简称fio）给出的benchmark测试结果，128个节点全部可以达到3000万以上的随机4K读IOPS。此IOPS级别的平均延迟为199微秒，而最大值为8微秒。1MB数据块条件下的数据吞吐量为每秒140GB。 Excelero指出，这种方式在利用原生NVMe排队机制的同时，完全回避了目标主机CPU（配备NVMe驱动器的主机）为应用程序预留处理资源的问题。 仿真结果意味着可视化任务将运行得更流畅、更快，美国宇航局艾姆斯研究中心的科学家和工程师可以更自然地互动，从而显着提高工作效率。 更多热点资讯，敬请关注《科技新闻早报》专栏！
