数据仓库之门向Hadoop开启

在大数据时代，Hadoop分布式处理架构为IT、数据管理以及数据分析团队带来了新生机的同时，也带来了新的挑战。随着Hadoop生态系统的不断发展壮大，企业需要对快速更新换代的技术做好充足的准备。

上周，Apache软件基金会刚刚宣布了Hadoop 2.0的正式GA，新版本的Hadoop将带来大量变化。以HDFS和基于Java的MapReduce为核心组件，Hadoop的早期采用者都在使用它应对海量数据处理，包括结构化与非结构化数据，从日志文件到文本数据，再从传感器数据再到社交媒体数据不一而足。

Hadoop 1.0向2.0的转变

Hadoop通常以集群的方式运行在廉价服务器上，因此可以有效控制海量数据处理和存储的成本。Ventana研究机构的副总裁Tony Cosentino表示，Hadoop采取了轻架构的数据处理方式， 因此它能够对新型数据源进行充分利用，这是传统关系型数据库架构所不能比拟的。

但Cosentino认为，目前的Hadoop架构也受到了批处理模式的限制，可以把它比作是一辆重型卡车，在性能方面存在较大瓶颈。Hadoop不适合有低延迟需求的应用，它更适合干重活，即海量数据处理。

Hadoop适合分析海量非结构化数据集，它通常是上TB甚至PB的数量级。ScaleOut Software的CEO William Bain表示，由于Hadoop批处理的天性以及大开销所限，它并不适合进行数据集的实时分析。但将Hadoop2.0与其他厂商所添加的新查询引擎结合，这个问题也将得到有效的解决。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友