Hadoop掀起大数据革命:三巨头齐发力

来源:开云全站app    
2012/12/7 18:04:52
数据革命正FAApache Hadoop为中心如火如荼的进行着。自从开源分布式数据处理平台在5年前发布时讨论之声就不绝于耳。但在过去的18个月中,Hadoop赢得了客户的认可,并得到众多商业化的支持以及众多数据库和数据集成软件商的整合。在众多厂商之中最著名的三个商业数据供应商当属orack、IBM 和Microsoft。



本文关键字: Hadoop 大数据革命 数据仓库

数据革命正FAApache Hadoop为中心如火如荼的进行着。自从开源分布式数据处理平台在5年前发布时讨论之声就不绝于耳。但在过去的18个月中,Hadoop赢得了客户的认可,并得到众多商业化的支持以及众多数据库和数据集成软件商的整合。在众多厂商之中最著名的三个商业数据供应商当属orack、IBM 和Microsoft。


    Hadoop会在未来成为大数据的重大技术吗?


    Hadoop是一个基于Java的分布式密集数据处理和数据分析的软件框架。Hadoop在很大程度上是受Google在2004年白皮书中阐述的MapReduce的技术启发。MapReduce工作原理是将任务分解为成百上千块的小任务,然后发送到计算机集群中。每台计算机再传送会自己那部分信息,MapReduce则迅速整合这些反馈并形成答案。


    Hadoop的扩展性非常优秀,Hadoop可处理分布在数以千计的低成本x86服务器计算节点中的大型数据。同时由于众所周知的摩尔定律,内存和磁盘的容量也在不断增长。Hadoop对硬件的支持也在加强,现在每个节点可部署16核的处理器,12TB甚至24TB磁盘。Cloudera透露其推出的产品每个节点的成本大约4000美元。这个价格对于关系数据库部署每TB 10000至12000美元来说极具竞争优势。


    这种高容量低成本的组合引人注目,但Hadoop最吸引人的是其处理混合数据类型的能力。


    Hadoop可以管理结构化数据,以及诸如服务器日志文件和Web点击流的数据。同时还可以管理以非结构化文本为中心的数据,如Facebook和Twitter。这种处理多类型数据能力非常重要。它催生了NoSQL平台和产品。而传统关系型数据库如Oracle, IBM DB2, Microsoft SQLServer和MySQL则都不能处理混合数据类型和非结构化数据。由于事务处理灵活性的需求,Hadoop获得大多数数据分析厂商的关注和支持。

责编:孔维维
vsharing微信扫一扫实时了解行业动态
portalart微信扫一扫分享本文给好友

著作权声明:kaiyun体育官方人口 文章著作权分属kaiyun体育官方人口 、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。
最新专题
流动存储 为大数据而生

伴随信息技术的突飞猛进,更大量级的非结构化数据与结构化数据构成的大数据成为企业级存储所面临的最大挑战:一方..

磁盘阵列及虚拟化存储

利用数组方式来作磁盘组,配合数据分散排列的设计,提升数据的安全性。虚拟化存储,对存储硬件资源进行抽象化表现。

    畅享
    首页
    返回
    顶部
    ×
      信息化规划
      IT总包
      供应商选型
      IT监理
      开发维护外包
      评估维权
    客服电话
    400-698-9918
    Baidu
    map