Hadoop掀起大数据革命：三巨头齐发力

数据革命正FAApacheHadoop为中心如火如荼的进行着。自从开源分布式数据处理平台在5年前发布时讨论之声就不绝于耳。但在过去的18个月中，Hadoop赢得了客户的认可，并得到众多商业化的支持以及众多数据库和数据集成软件商的整合。在众多厂商之中最著名的三个商业数据供应商当属orack、IBM和Microsoft。

Hadoop会在未来成为大数据的重大技术吗？

Hadoop是一个基于Java的分布式密集数据处理和数据分析的软件框架。Hadoop在很大程度上是受Google在2004年白皮书中阐述的MapReduce的技术启发。MapReduce工作原理是将任务分解为成百上千块的小任务，然后发送到计算机集群中。每台计算机再传送会自己那部分信息，MapReduce则迅速整合这些反馈并形成答案。

Hadoop的扩展性非常优秀，Hadoop可处理分布在数以千计的低成本x86服务器计算节点中的大型数据。同时由于众所周知的摩尔定律，内存和磁盘的容量也在不断增长。Hadoop对硬件的支持也在加强，现在每个节点可部署16核的处理器，12TB甚至24TB磁盘。Cloudera透露其推出的产品每个节点的成本大约4000美元。这个价格对于关系数据库部署每TB 10000至12000美元来说极具竞争优势。

这种高容量低成本的组合引人注目，但Hadoop最吸引人的是其处理混合数据类型的能力。

Hadoop可以管理结构化数据，以及诸如服务器日志文件和Web点击流的数据。同时还可以管理以非结构化文本为中心的数据，如Facebook和Twitter。这种处理多类型数据能力非常重要。它催生了NoSQL平台和产品。而传统关系型数据库如Oracle， IBM DB2， Microsoft SQLServer和MySQL则都不能处理混合数据类型和非结构化数据。由于事务处理灵活性的需求，Hadoop获得大多数数据分析厂商的关注和支持。