海量存储场景下存储系统的挑战与应对

来源: watchstor作者:王光
2012/9/5 10:23:14
伴随着各种终端技术及网络的发展,人类感知世界,探索世界的步伐越来越快,大量的数据被采集并记录。种种数据表明,人类已进入信息爆炸时代。从IDC研究来看,从2009年到2020年,全球信息总量增长44倍以上,将达到35.2ZB(1ZB=1,000,000PB),而每一家组织都将面临需要存储至少10倍以上数据量的现状。

分享到: 新浪微博 腾讯微博
本文关键字: 海量存储 大数据 华为

海量存储场景下传统IT系统面临的挑战

伴随着各种终端技术及网络的发展,人类感知世界,探索世界的步伐越来越快,大量的数据被采集并记录。种种数据表明,人类已进入信息爆炸时代。从IDC研究来看,从2009年到2020年,全球信息总量增长44倍以上,将达到35.2ZB(1ZB=1,000,000PB),而每一家组织都将面临需要存储至少10倍以上数据量的现状。存储系统的容量需求已经从几十T发展到几十P甚至100P以上,我们把这种场景称为海量存储场景。海量存储场景对存储系统提出了巨大挑战。

传统存储架构很难应对海量存储场景所引发的诸多问题。首先,传统IT系统多为“烟囱式”架构,一平台一应用,如果需要扩容,原有的架构和部署方式必然发生巨大变化,并且多系统之间很难实现数据共享,扩容成本极高。其次,多套系统造成管理、维护效率低下。研究表明,IT系统用于维护的费用占到整体费用的72%,远高于首次采购设备的费用。而这一状况在进入海量存储时代后变得更加突出。

需求与现状正在产生巨大矛盾。如何降低整体拥有成本,提高管理维护效率,保证业务连续性是当前存储系统亟待解决的难题。

海量存储系统应运而生

新的产品与服务不断出现以解决上文提到的矛盾,公有云服务是有效手段之一。企业采用“以租代买”的方式,把建设与管理IT设施的风险交给了运营商。云服务运营商提供近乎无限的存储空间供用户使用,“按需购买”的付费方式也降低了用户使用IT设施的门槛,从而解决了扩展性和成本的问题。因此公有云市场最近几年发展迅猛,其中最具代表的就是亚马逊,存储在亚马逊的对象数在2011年增长了192%,达到7千亿个,相当于为整个地球上每个人提供近100个对象存储。

然而公有云并不能解决所有问题。网络存储对带宽消耗巨大,同时出于安全性的考虑,一些企业也不愿把自己苦心经营得到的数据存放到第三方数据中心。因此很多企业选择自建数据中心。他们选择低廉的服务器与存储,基于开源软件进行研究与开发,自建海量廉价资源池。但这种方式对研发及测试实力要求极高,中小企业很难做到。大型企业往往投入大量人力物力也无法做到商用要求,得不偿失。

不论是借助公有云还是自建数据中心,背后对存储的需求是一致的,最突出的就是极高的扩展性及极低的TCO。只有解决了这两个难题,系统才能在海量存储场景下,满足高速发展的业务增长需求。

这种以高扩展和低TCO为核心诉求的存储显然不是现有存储系统所具备的。现有存储不论是SAN还是集群NAS,都很难满足100PB以上的部署要求。因此,一种新的存储类型应运而生,它可以满足海量存储场景下的部署要求,追求极强的扩展性,极低的TCO,以及较好的开放性以应对各种上层应用,而这种新的存储类型对网络时延要求较低。我们把这种新的存储类型称为海量存储系统。

近几年部件技术的快速发展也为海量存储系统的诞生创造了条件。磁盘容量越来越高,从2TB,4TB到8TB,10TB,而磁盘单位容量的功耗越来越低。处理器计算能力越来越强,而每核所消耗的功耗也越来越低。同时万兆以太网技术也在不断成熟。这些都是海量存储系统登上存储历史舞台的必要条件。

华为UDS海量存储系统开创EB级存储未来

海量存储系统以对象作为基本存储形式。对象是数据和自描述信息的集合,是数据在磁盘上存储的基本单元。对象存储在文件系统的基础上进行优化,通过降低文件系统目录、接口的复杂度,提高了当对象数量高速增长时系统的扩展性。同时对象的智能自管理功能也能有效降低系统维护复杂度。

海量存储系统适用于对容量要求极高,而网络时延要求相对较低的应用场景,如公有云存储服务。一方面当客户数量快速增长时对存储空间的需求难以预期,另一方面服务是通过互联网提供的,用户对网络延迟具有较高的容忍度。海量存储系统可以作为基础架构为用户提供空间存储服务,或基于存储的上层业务服务。在行业应用中也能找到适合海量存储系统的应用场景,如数据归档,媒资管理等。

UDS海量存储系统是华为面向海量存储市场推出的最新产品。UDS采用基于ARM架构的低功耗、高密度存储节点,通过对象存储技术、P2P分布式存储引擎技术、集群应用技术等构建海量对象存储基础架构平台,对外提供S3、NFS、CIFS等多种访问接口,以满足不同业务的适配需求。基于UDS可以构建多种解决方案,如海量资源池,网盘,云备份,集中备份等。

如何解决海量数据所带来的困境是信息化社会必须面对的问题。华为携手运营商与行业客户,基于UDS海量存储系统,开拓创新,构建强扩展,易管理,高可靠的EB级数据管理方案,轻松应对各种挑战,开创海量数据业务的未来。

责编:赵龙
vsharing 微信扫一扫实时了解行业动态
portalart 微信扫一扫分享本文给好友
著作权声明:kaiyun体育官方人口 文章著作权分属kaiyun体育官方人口 、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。
最新专题
流动存储 为大数据而生

伴随信息技术的突飞猛进,更大量级的非结构化数据与结构化数据构成的大数据成为企业级存储所面临的最大挑战:一方..

磁盘阵列及虚拟化存储

利用数组方式来作磁盘组,配合数据分散排列的设计,提升数据的安全性。虚拟化存储,对存储硬件资源进行抽象化表现。

    畅享
    首页
    返回
    顶部
    ×
    畅享IT
      信息化规划
      IT总包
      供应商选型
      IT监理
      开发维护外包
      评估维权
    客服电话
    400-698-9918
    Baidu
    map