超400PB!IBM大数据技术管理最大气候档案

来源:中关村在线  
2015/5/26 16:30:14
德国气候开云全站官方下载 使用IBM的技术与服务管理世界上最大的气候模拟数据档案,该档案目前包含超过400PB数据,预计将在未来五年以每年约75PB的速度增长。在日益强大的超级计算机上进行气候模拟会产生海量数据,数据必须进行有效的存储与分析,而这些数据供全世界尖端气候研究人员使用。

本文关键字: IBM 大数据
   近日,从国外报道了解,德国气候开云全站官方下载 使用IBM的技术与服务管理世界上最大的气候模拟数据档案,该档案目前包含超过400PB数据,预计将在未来五年以每年约75PB的速度增长。在日益强大的超级计算机上进行气候模拟会产生海量数据,数据必须进行有效的存储与分析,而这些数据供全世界尖端气候研究人员使用。

IBM大数据让全球最大气候数据档案
图片来源IBM

  资料显示,为了利用分级存储管理 (Hierarchical StorageManagement) 系统高效管理并快速访问这些数据以支持分析与研究,该中心选择了由IBM和美国能源部共同开发的高性能存储系统(HPSS)软件解决方案。在多项IBM服务的支持下,该解决方案能够处理超过500PB的数据。

  包括联合国政府间气候变化专门委员会(IPCC) 、德国马普学会气象研究所、汉堡大学在内的众多机构和德国气候计算中心使用档案中的数据开展一系列研究和报告活动,德国气候计算中心主任兼汉堡大学计算机科学教授Thomas Ludwig表示:

  “应对气候变化及其对环境和人们日常生活影响的挑战需要收集、存储和分析大量数据,依靠IBM的技术与专业知识来帮助我们向全世界最重要的气候及环境研究机构提供该项基本服务。”

IBM大数据让全球最大气候数据档案
图片来源IBM

  该中心的分级存储管理(HSM)系统的升级方案包括一个由最新x86服务器和运行HPSS软件的RedHat Linux操作系统组成。该解决方案管理着全部模拟数据,并充当该中心的高性能计算系统与磁带存储库(气候数据存储于其中)之间的输入输出接口。

  该解决方案使用5PB存储容量的磁盘高速缓存,并且能够提供高达12GB/s的数据存取速度,未来还将升级到18GB/s。IBM利用现场数据中心管理服务、项目管理服务和硬件厂商管理服务来支持该解决方案,HPSS解决方案则包含IBM DB2可扩展关系数据库软件。

  据悉,HPSS技术是IBM与隶属美国能源部的劳伦斯利弗莫尔、洛斯阿拉莫斯、桑迪亚、劳伦斯伯克利及橡树岭国家实验室二十年合作的成果。该技术用于研究设施和大学的超大型科学数据档案及气象预报系统。

责编:何鹏
vsharing微信扫一扫实时了解行业动态
portalart微信扫一扫分享本文给好友

著作权声明:kaiyun体育官方人口 文章著作权分属kaiyun体育官方人口 、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。
最新专题
流动存储 为大数据而生

伴随信息技术的突飞猛进,更大量级的非结构化数据与结构化数据构成的大数据成为企业级存储所面临的最大挑战:一方..

磁盘阵列及虚拟化存储

利用数组方式来作磁盘组,配合数据分散排列的设计,提升数据的安全性。虚拟化存储,对存储硬件资源进行抽象化表现。

    畅享
    首页
    返回
    顶部
    ×
      信息化规划
      IT总包
      供应商选型
      IT监理
      开发维护外包
      评估维权
    客服电话
    400-698-9918
    Baidu
    map