Hadoop新一代MapReduce框架更快、更强本文介绍了Hadoop 自0.23.0版本后新的MapReduce框架（Yarn)原理、优势、运作机制和配置方法等；着重介绍新的Yarn框架相对于原框架的差异及改进。 编者按：对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，随着需求的发展，Yarn 框架浮出水面， @依然光荣复兴的 博客给我们做了很详细的介绍，读者通过本文中新旧 Hadoop MapReduce 框架的对比，更能深刻理解新的 yarn 框架的技术原理和设计思想。 背景 Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce框架设计的不足，在原MapReduce框架上进行修改变得越来越困难，所以MapReduce的committer们决定从架构上重新设计MapReduce,使下一代的MapReduce(MRv2/Yarn)框架具有更好的扩展性、可用性、可靠性、向后兼容性和更高的资源利用率以及能支持除了MapReduce计算框架外的更多的计算框架。 原MapReduce框架的不足  JobTracker是集群事务的集中处理点，存在单点故障 JobTracker需要完成的任务太多，既要维护job的状态又要维护job的task的状态，造成过多的资源消耗 在taskTracker端，用map/reduce task作为资源的表示过于简单，没有考虑到CPU、内存等资源情况，当把两个需要消耗大内存的task调度到一起，很容易出现OOM 把资源强制划分为map/reduce slot,当只有map task时，reduce slot不能用；当只有reduce task时，map slot不能用，容易造成资源利用不足。 责编：郑雄  微信扫一扫实时了解行业动态 著作权声明：kaiyun体育官方人口
文章著作权分属kaiyun体育官方人口
、网友和合作伙伴，部分非原创文章作者信息可能有所缺失，如需补充或修改请与我们联系，工作人员会在1个工作日内配合处理。 |
最新专题 推荐圈子 |
DB2数据的导入(Import)_导出(Expo..
Cognos 中国社区——Cognos 10.2...|
|
