解读HPC系统数据生命周期中的三种形态

——高性能计算存储解读系列之一

集群计算以及部门和工作组高性能计算系统大型计算能力的持续增长已经对存储架构提出了挑战。输出数据的传统存储方法是通过一个或多个经由存储区域网络(SAN)或直连存储(DAS)连接到存储的服务器使用网络文件系统(NAS)，传统的方法已经落后于大部分大型高性能计算安装基础对性能和可扩展性不断增加的需求。高性能并行解决方案的另一种方法可能更加昂贵，并且相对于NFS难于创建并维护。

因此，很多中等的高性能计算设施正在竞争满足应用程序的I/O需求。研究计算社区的那些人认识到划算的，高性能，可扩展性，有弹性和易于管理的集中存储需求可能是当代的高性能计算设施面临的最大的挑战。

从根本上说，高性能计算依赖计算能力，带宽和存储。这些因素互相依赖可能决定高性能计算解决方案的计算和信息容量。为更好的扩展，高性能计算应用程序在组成计算集群的大量的客户机中分配计算。高性能计算集群能够从十个延伸到上千个客户端，聚合的I/O请求从数十到上百GB/s一路排列下来到较小的具有更多适度的I/O性能需求的4节点集群。所高性能计算集群不管大小，共享很多共同的需求。

随着CPU核心持续增加，对数据吞吐量的要求不断增加，需要计算节点访问GB，甚至TB存储数据并返回给存储。无论是计算还是存储，数据传输通常决定了系统的互连设计。使用Gb以太网和InfiniBand已经司空见惯，10Gb以太网正在变得更加便宜，网络带宽同样已经在可用性和速度方面持续增加，而且延迟在不断减少。

计算集群和带宽增加可能需要大量的存储和/或高性能存储充分获得计算和带宽的潜能。随着应用程序产生和处理大量数据的增加以及集群中的每个主机需要统一访问任一后端数据，高性能存储变得日益关键。

应用程序需求驱动了恰当规模的计算集群(核心数量)，网络带宽/延迟和存储之间的相互依赖性。然而这使设计高性能计算系统成为一个挑战，促使灵活性的增加以便高性能计算系统可以调整以实现高性能并/或减少成本。集群的特点之一是精确的灵活性，提供组合组件创造更加有效的总体系统的可能性。存储也不是例外，不同的应用程序和工作负载产生不同的需求，可以通过恰当的存储组件和解决方案的组合解决。高性能计算系统基本的数据时间轴有几个离散阶段。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友