童小军：运用Hadoop云架构补充现有IOE架构应对大数据时代

2013年3月14日，“2013年中国CIO论坛--北京行暨中国信息化领导力与CIO调研报告的发布会”活动在北京大学英杰交流中心隆重举行，会议上来自业界的信息化专家学者和各行业CIO、以及厂商代表们共聚一堂，共同探讨中国信息化发展大计，以及CIO角色的发展与变化转型。本次论坛分为上午的“2013中国CIO论坛主论坛”以及下午的“云计算分论坛”和“移动信息化分论坛”。

EasyHadoop创始人童小军先生在云计算分论坛上发表题为《运用Hadoop云架构补充现有(IOE)架构应对大数据时代》的主题演讲，以下为演讲实录：

EasyHadoop创始人童小军先生

大家好，很难得来到这里跟大家分享我们从互联网公司角度出发的基于Hadoop大规模数据应用的案例，还有从互联网延伸到非互联网IT公司的一些案例和实践场景。今天的题目是“运用Hadoop分布式架构来补充传统架构(IOE)迎战大数据”。这个题目是怎么由来的呢?在互联网上，比如淘宝、百度、阿里提出一些比较大的架构的调整，就是“去IOE”，当然这种大的架构调整背后有一套分布式体系的支撑。这个分布式体系支撑点，中间有基于Hadoop分布式计算，还有通过Reduce并行计算形成集群替代了原来的IBMIOE小型机在EMC存储和Oracle数据库组成的传统架构体系。

在我们出来做企业咨询和培训过程当中发现，其实在企业中要过渡到去除IOE几乎是不可能的。中间我会讲一些细节和由来。我们提出了新的想法，通过互联网、云计算、Hadoop来补充，我们提出补充IOE的设想来重新定位在企业中如何实施分布式架构。

首先我做个个人介绍。我本身是EasyHadoop开源社区创始人，在国内推广基于Hadoop为主的分布式架构和体系，也做了很多培训的工作，我也有幸是Cloudera认证获得者，我之前在暴风影音从事平台研发经理，在互联网公司运用Hadoop处理大数据。我们社区举办了很多活动，在广州、上海等多地举办过培训和活动。通过这些培训活动我们搜集到了IT企业和互联网企业各种各样的需求应用。我们的宗旨是希望让Hadoop更简单、更易用，为国内企业提供大数据分析的能力。

首先说一下基于Hadoop架构中的组成部分。第一个问题，Hadoop是什么?Hadoop由多个组建组成，分别由Hadoop，包括外围很多软件组成。它从原来最早的处理框架转变成了分布式操作系统。在逐渐发展过程当中已经形成生态系统架构。基础的是解决存储+计算的问题。比如HDFS+MapReduce。再往上还有其他的。它本身从最基础的开始往上更丰富的应用层在逐渐的出现。比如数据挖掘算法、骚扰和搜索引擎这种组建，还有能够把数据从Oracle数据库倒到其他组建。等等。它形成了一个相当健全的生态系统。

Hadoop这个软件如果从云计算分类上来说，它属于哪块呢?我们分为三类，IAAS、SAAS、PAAS。Hadoop组建是在PAAS，起到平台支撑作用，一解决分布式存储和运算。按照对象分，有公有云、私有云、混合云。Hadoop在互联网公司构建私有云上有相当大的作用。当然也有企业用Hadoop构件公有云。我们可以把云计算技术分成两个端：一种是分的技术，把机器分成很多小机器，提高各个利用率，实现多个机器之间虚拟化的迁移，保证高可用。这是分的技术。另外一端是合的技术，把一堆小的机器组成大的集群。比如把存储组合成HDFS。充分利用内容可以使用HBase，可以用Reduce等模型进行并行计算。这块技术就是合的技术。把一堆机器合成一个大的集群。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友