数据仓库之门向Hadoop开启

来源：互联网

2013/10/25 8:52:16

在大数据时代，Hadoop分布式处理架构为IT、数据管理以及数据分析团队带来了新生机的同时，也带来了新的挑战。随着Hadoop生态系统的不断发展壮大，企业需要对快速更新换代的技术做好充足的准备。

上周，Apache软件基金会刚刚宣布了Hadoop 2.0的正式GA，新版本的Hadoop将带来大量变化。以HDFS和基于Java的MapReduce为核心组件，Hadoop的早期采用者都在使用它应对海量数据处理，包括结构化与非结构化数据，从日志文件到文本数据，再从传感器数据再到社交媒体数据不一而足。

Hadoop 1.0向2.0的转变

Hadoop通常以集群的方式运行在廉价服务器上，因此可以有效控制海量数据处理和存储的成本。Ventana研究机构的副总裁Tony Cosentino表示，Hadoop采取了轻架构的数据处理方式，因此它能够对新型数据源进行充分利用，这是传统关系型数据库架构所不能比拟的。

但Cosentino认为，目前的Hadoop架构也受到了批处理模式的限制，可以把它比作是一辆重型卡车，在性能方面存在较大瓶颈。Hadoop不适合有低延迟需求的应用，它更适合干重活，即海量数据处理。

Hadoop适合分析海量非结构化数据集，它通常是上TB甚至PB的数量级。ScaleOut Software的CEO William Bain表示，由于Hadoop批处理的天性以及大开销所限，它并不适合进行数据集的实时分析。但将Hadoop 2.0与其他厂商所添加的新查询引擎结合，这个问题也将得到有效的解决。

责编：王雅京

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友

收藏到畅享打印全文复制链接添加到收藏投稿邮箱

分享到：新浪微博腾讯微博

著作权声明：kaiyun体育官方人口文章著作权分属kaiyun体育官方人口、网友和合作伙伴，部分非原创文章作者信息可能有所缺失，如需补充或修改请与我们联系，工作人员会在1个工作日内配合处理。

数据仓库之门向Hadoop开启

通过咨询项目或年度顾问方式，帮助您架起业务和IT的桥梁，解决业务和IT创新融合、现有系统取舍难、IT架构、建设路径、IT治理、IT支出优化等IT策略问题。

与您签订总包或三方合同，帮您解决业务和IT规划落地走样、IT详细设计缺失、难以寻觅靠谱的技术供应商、多个供应商协调难、维护升级服务保障难等棘手问题。

与您签订监理合同，以里程碑专家评审、项目变更协调、风险控制研讨、供应商关系协调、CIO智力网络等为主要服务内容，与甲乙方一起实现上线成功。

畅享IT帮助寻找可靠的、性价比高的开发力量，签订外包合同或三方合同，为企业提供可信赖的开发量，为IT供应商解决开发力量不足的问题。

畅享IT帮助寻找靠谱的、性价比高的维护力量，签订外包合同，对客户满意度负责，为客户解决维护运营服务保障难的问题。

对IT系统、IT项目或IT管理进行评估，出具中立评估报告，解决IT评价难、取舍难的问题。