敢为人先优酷土豆用Spark完善大数据分析

来源：存储在线作者：袁绍龙

2013/12/31 11:34:06

优酷土豆作为国内最大的视频网站，和国内其他互联网巨头一样，率先看到大数据对公司业务的价值，早在2009年就开始使用Hadoop集群，随着这些年业务迅猛发展，优酷土豆又率先尝试了仍处于大数据前沿领域的Spark/Shark 内存计算框架，很好地解决了机器学习和图计算多次迭代的瓶颈问题，使得公司大数据分析更加完善。

分享到：新浪微博腾讯微博

本文关键字：大数据优酷土豆 Spark 英特尔 Hadoop

未来：将Spark/Shark融入到Hadoop2.0

对于大数据而言，Hadoop已经构建完成了较为完善的生态系统，特别是Hadoop2.0版本在今年推出之后，改善了诸多缺点。而Spark/Shark计算框架其实与Hadoop并不冲突，Spark现在已经可以直接运行在Yarn的框架之上，成为Hadoop生态系统之中不可或缺的成员。

图五：Spark On Yarn 。

优酷土豆集团大数据团队大数据平台架构师傅杰表示：“目前Hadoop 2.0已经发布了release版本，我们已经启动了对Hadoop 2.0的升级预演。这中间还涉及到我们在1.0版本上修改的一些特性需要迁移和验证，我们希望做到在不影响业务的情况下实现平滑升级，预计在明年Q1完成升级。Hadoop 2.0将会是非常强大的，不再仅仅是MapReduce，还能融入Spark，能够让用户可以根据数据处理应用需求的不同来选择合适的计算框架。”

责编：郑雄