每六个月发布一次的HPCTop500榜单越来越受到业界的关注，尤其是近几年榜首的连续几个都是中国的HPC系统。 HPC（High-PerformanceComputing）话题备受关注，不仅是因为本地系统在业界赢得了好评，更重要的是，高性能计算已经逐渐走进每个人的生活，发挥着不可或缺的作用。例如，金融、气象、能源、制造等行业的很多企事业单位都在应用高性能计算。作为普通人的衣食住行，我们在刷卡购物、打电话、听天气预报、乘车时，已经在享受高性能计算。计算带来的准确性和便利性。 说到HPC，大家最关注的是计算性能，却很少有人谈到HPC的存储系统，也就是并行文件系统。在近日的一次交流会上，中国气象局高级工程师洪文东、中国高性能计算TOP100榜单创始人袁国兴、中国计算机学会高性能计算专业委员会秘书长张云泉等多位HPC领域专家，不约而同地，他们就并行文件系统在HPC领域的重要价值阐述了各自的看法。 并行文件系统是HPC实现资源调度和性能优化的关键因素 在高性能计算领域，尤其是在气象部门网络将这一切汇集在一起??。并行计算快速进行，相应的数据量也快速增长，需要并行文件系统进行处理。 中国计算机学会高性能计算专业委员会秘书长张云泉在交流会上表示，在高性能计算领域，需要通过并行来实现加速，这种加速意义重大到高性能计算。 中国气象局高级研究工程师洪文东表示，“要在HPC系统中实现科学计算的性能，并行文件系统是必不可少的。CPU需要通过并行文件系统来管理大量的存储硬件。尤其是在气象领域，数据相互关联，需要交换计算结果，对并行文件系统的要求更高。” 因此，洪文东认为，一般的开源并行文件操作系统无法满足科学计算领域HPC系统的需求，因为在科学计算领域，大部分时间存储在文件系统中的数据需要相互交互，即它们是分布式共享的并行文件系统，不像电信、网络、物流等社会计算领域，各个文件系统的数据相互之间没有关系，它们是分布式并行文件系统。这两种模式对文件系统的要求完全不同。 中国高性能计算TOP100榜单创始人袁国兴也认为，在HPC系统中，存储系统的响应速度必须尽可能高，并行文件系统也必须尽可能高效，否则，系统产生的数据即使计算系统很快，如果并行文件系统不能快速响应，整个HPC系统的性能也会急剧下降。 并行文件系统可以将多个节点上的磁盘组织成一个大的存储系统，提供更大的存储容量和聚合I/O带宽，并随着系统规模的扩大而扩展。它在环境中发挥着重要作用，特别是在具有集群结构的高性能计算领域。 同时，张云泉认为，现在大数据的发展使得HPC的研究有了新的应用领域，产生了很多新兴的交叉学科。无论是深度学习、大数据分析，还是网络游戏，各种新的应用对HPC提出了新的要求，对HPC存储系统尤其是并行文件系统提出了各种挑战。 从高性能的角度来看，GPFS就是目前的IBMSpectrumScale，通过将I/O分布到多个硬盘来提高性能，可以在1个节点到4000多个节点的集群环境中高效工作。对SSD磁盘和闪存阵列的良好支持。 与此同时，可靠性是高性能计算的重中之重。在GPFS环境下，如果一个节点的硬盘连接丢失，不会影响其他节点。GPFS使用RSCT功能持续监控不同文件模块的健康状态，当检测到任何错误时，将自动执行相应的恢复动作。GPFS还提供额外的日志记录和恢复功能以保持元数据的一致性。最多三个副本可以支持节点的自动故障转移。相对于开源的CEPH，GPFS作为商业系统的代表，经过了大量的实践和检验，相对更加稳定可靠。 洪文东认为，“从商业软件的角度来看，IBM的GPFS是最成功的并行文件系统，也是业界最好的。” IBMSpectrumScale，商用可靠性满足多方高性能存储需求 在软件定义存储时代，高性能计算面临着不同时代、不同品牌的存储设备和解决方案的融合问题。IBM整合了旗下所有与存储相关的软件，推出了SpectrumA系列存储，帮助企业和机构解决高性能计算时代出现的新问题。Spectrum家族的SpectrumScale，著名的IBM并行文件系统明星产品GPFS，也是HPC领域备受推崇的并行文件系统的商业软件。2013年，世界500强超级计算机中超过150个集群使用了GPFS文件系统。 正如IBM软件定义解决方案销售顾问姜俊华在沟通会上介绍的那样，IBMSpectrum家族的SpectrumScale是一款专为高性能计算而设计的高可靠并行文件系统。在计算集群中，可以实现多个计算节点的数据快速访问，实现跨广域网的存储集成和数据共享，帮助用户形成统一的存储资源池。同时，还解决了数据存储经济性问题，依托信息生命周期管理功能，帮助用户实现数据的自动化分层管理，保证存储资源的高效利用。这些对高性能计算领域，尤其是天气预报等科学计算领域具有重要价值。 IBMSpectrumScale是一种经过验证的、可扩展的高性能数据和文件管理解决方案（基于IBM通用并行文件系统或GPFS，以前的代号为ElasticStorage）。IBMSpectrumScale提供世界一流的存储管理功能，具有极高的可扩展性、闪存加速的性能以及从闪存到磁盘再到磁带的基于策略的自动存储分层。IBMSpectrumScale可以帮助客户将存储成本降低90%，同时提高云、大数据和分析环境的安全性和管理效率。 首先，IBMSpectrumScale解决了数据的高可靠性和高可用性。采用去中心化的系统架构设计，GPFS文件系统的元数据和数据采用分布式架构存储。无论管理节点、文件系统节点还是元数据节点发生故障，都可以恢复。没有单点故障，保证了系统的使用。随着高性能计算集群规模和文件系统的增长，元数据访问不会成为系统瓶颈。 其次，IBMSpectrumScale解决了跨广域网的存储和数据资源整合，帮助用户形成全球统一的文件命名和数据管理。例如，广州在遭遇南方暴雨时，由于天气预报计算需求增加，需要借助北京的超级计算机来计算南方的天气，这涉及到数据传输和同步。通过SpectrumScale软件的完全集成，可以从战略上定义数据存储。根据每个气象计算实例附带的数据量，结合IBMPlatformLSF调度软件，可以确定计算任务是在本地计算还是调度到远程计算。,快速得到计算结果。 最后，IBMSpectrumScale可以在生产环境中实现磁盘空间的动态扩展和压缩。由于IBMSpectrumScale将节点内的读写操作分散到多个磁盘上，文件系统的带宽大大增加，通过整个系统的负载均衡，避免了某个磁盘的过度读写。此外，IBMSpectrumScale可以动态调整以添加或删除硬盘驱动器。当系统相对空闲时，用户可以在配置的硬盘之间重新平衡文件系统以提高吞吐量。
