基于Hadoop平台的云存储应用实践
云计算(Cloud Computing)是一种基于因特网的超级计算模式，在远程的数据中心里，成千上万台电脑和服务器连接成一片电脑云。
3部署Hadoop
从历史上看，数据分析
软件面对当今的海量数据已显得力不从心，这种局面正在悄然转变。新的海量数据分析引擎已经出现。例如Apache的Hadoop，实践证明，Hadoop在数据处理方面是做得最好的且是开源的平台之一。
云存储中心是由大量服务器构成Hadoop的数据节点((DataNodes)，负责保存文件的内容，实现文件的分布式存储、负载平衡以及文件的容错控制。
下面将利用Hadoop作为实验平台，一步一步演示如何部署一个三个节点的集群，并测试一下MapRe-dace分布式处理的强大功能，在Hadoop分布式文件系统(HDFS)中存人两个文件，并采用MapReduce计算出两个namelist文件中各个名字出现的次数，程序架构设计如图2所示。
图2 3个节点的Hadoop集群
其中NameNode主节点和DataNode从节点的分布情况如下：
责编：赵龙
微信扫一扫实时了解行业动态
著作权声明：kaiyun体育官方人口 文章著作权分属kaiyun体育官方人口 、网友和合作伙伴，部分非原创文章作者信息可能有所缺失，如需补充或修改请与我们联系，工作人员会在1个工作日内配合处理。
|
最新专题
推荐圈子
|
DB2数据的导入(Import)_导出(Expo..
Cognos 中国社区——Cognos 10.2...|
|
