华为大数据存储实现统一管理40PB文件系统

华为近日宣布旗下大 数据存储OceanStor 9000经过全面的验证可实现目前业界最大40PB文件系统，相当于4万块1TB硬盘的超大容量空间可同时被一个文件系统进行目录管理，这是OceanStor 9000大数据存储继获得500万OPS性能冠军之后又一次领先业界的创举。此次验证同时得到了英特尔、希捷以及AgigA Tech等业内一流合作伙伴的大力支持。

随着企业的发展以及大数据时代的到来，许多行业为了在多个独立的应用和数据孤岛中挖掘出更大的数据价值，希望将数据融合起来共享使用，因此对单一文件系统的容量提出了非常高的要求。比如，中国的智慧城市建设已经大步迈进8Mbps码流的高清时代， 视频存储已经达到10～20PB存储容量； 互联网新媒体的数据量，也从TB级进入几十PB级集中存储时代；目前我国正在推动建设的国家级基因库将建设一个能够容纳50PB容量基因数据存储和分析仓库。由此可见，在大数据时代背景下，行业客户对于PB级统一命名空间的高性能存储已经呈现出旺盛的需求态势。华为OceanStor 9000大数据存储系统40PB单一命名空间的实证正是在这样的背景下，以客户实际需求为导向的又一次扛鼎之作。

40PB超大容量的实现得益于多项创新技术的支撑：首先，华为自主研发的分布式文件系统WushanFS，采用创新的元数据管理方式，使得系统的性能、可靠性以及扩展能力三个方面可以并驾齐驱，真正实现性能、容量线性增长，数据可靠存储。其次，动态哈希表技术、目录动态子树分裂技术、全局一致性缓存、RDMA over TCP等互联网技术的引入，为OceanStor 9000大规模横向扩展后性能线性增长提供了技术保证。另外，数据隔离技术将一个大规模的集群规划为多个中等规模存储空间，有效的解决了大数据存储设备大规模扩展后故障域过大，故障概率高的可靠性问题。集群任务拆分、并发、合并的MapReduce设计思想的引入，也最大限度的降低了大规模集群管理的系统压力。

在40PB大规模集群的验证过程中，OceanStor 9000展现了其优越的易管理性和扩展性，288节点集群部署在60分钟内完成，单节点扩容在1分钟内完成，全过程图形化界面操作，容量和性能线性扩展，最大可提供40PB容量，200GB/s带宽。

华为存储产品线总裁范瑞琦表示：“OceanStor 9000大数据存储系统的40PB超大容量的实现，能够真正应对大数据时代的数据量冲击，可以更好的帮助行业客户实现业务增长，例如可以支持媒体行业数千高清码流的电视节目同时在线制作，满足以央视为代表的全球性电视台的所有节目制作需求；能够支持上万路1080p摄像头实时录像和并行分析，满足像上海、广州、成都等大中型智慧城市全网视频监控需求。”

英特尔通讯和存储基础设施事业部存储部门总经理Bev Clair对此次合作评价到：“大数据时代的到来为我们提供了变革性的机遇，提供帮助我们解决历史性商业问题的机遇。英特尔和华为强强联合，通过研发大数据项目的技术和工具，不断满足客户的需求。英特尔和华为已经成功地完成对40PB的大数据存储工作负载的分析，为应用方面的存储解决方案的商业部署提供了参考。我们现在已经具备了打破当今容量瓶颈且满足客户需求的能力。我们会加快产品上市的时间，提供灵活性强、性价比高的解决方案，满足日益增长的存储需求。”

希捷科技全球副总裁暨中国区总裁孙丹女士表示：“大数据时代数据的快速增长，给客户的存储需求带来极大的挑战。从单点来看，客户需要更大容量更稳定的存储介质；从存储系统整体来看，超大容量的单一文件系统对客户将具有更实际的应用价值，和更广泛的应用场景。此次华为与多家合作伙伴联合验证40PB单一文件系统正是在这样的背景下开展的。希捷愿意与华为共同联手，推动大数据存储技术的研发创新和方案推广。”

AgigA Tech首席执行官Ron Sartore先生如此评价：“在与华为将近三年的合作中，AgigA Tech与华为在引入NVDIMM技术到华为 服务器以及存储产品的过程中保持了紧密的合作。在AgigA Tech成都研发中心对华为进行本地化技术支持的过程中，我们有幸第一时间看到华为海量存储OceanStor 9000系列作为划时代的产品所能提供的前所未有的I/O性能，这足以应对未来繁重的工作负荷。我们将继续与华为保持紧密的合作伙伴关系，并对有机会将基于DDR4以及未来内存技术的NVDIMM产品更加广泛应用于华为产品而感到兴奋。”