超400PB!IBM大数据技术管理最大气候档案

图片来源IBM

　　资料显示，为了利用分级存储管理 (Hierarchical StorageManagement) 系统高效管理并快速访问这些数据以支持分析与研究，该中心选择了由IBM和美国能源部共同开发的高性能存储系统(HPSS)软件解决方案。在多项IBM服务的支持下，该解决方案能够处理超过500PB的数据。

　　包括联合国政府间气候变化专门委员会(IPCC) 、德国马普学会气象研究所、汉堡大学在内的众多机构和德国气候计算中心使用档案中的数据开展一系列研究和报告活动，德国气候计算中心主任兼汉堡大学计算机科学教授Thomas Ludwig表示：

“应对气候变化及其对环境和人们日常生活影响的挑战需要收集、存储和分析大量数据，依靠IBM的技术与专业知识来帮助我们向全世界最重要的气候及环境研究机构提供该项基本服务。”

图片来源IBM

　　该中心的分级存储管理（HSM）系统的升级方案包括一个由最新x86服务器和运行HPSS软件的RedHat Linux操作系统组成。该解决方案管理着全部模拟数据，并充当该中心的高性能计算系统与磁带存储库（气候数据存储于其中）之间的输入输出接口。

　　该解决方案使用5PB存储容量的磁盘高速缓存，并且能够提供高达12GB/s的数据存取速度，未来还将升级到18GB/s。IBM利用现场数据中心管理服务、项目管理服务和硬件厂商管理服务来支持该解决方案，HPSS解决方案则包含IBM DB2可扩展关系数据库软件。

　　据悉，HPSS技术是IBM与隶属美国能源部的劳伦斯利弗莫尔、洛斯阿拉莫斯、桑迪亚、劳伦斯伯克利及橡树岭国家实验室二十年合作的成果。该技术用于研究设施和大学的超大型科学数据档案及气象预报系统。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友