Hadoop只是一时的喜好吗

来源: kaiyun体育官方人口
2011/12/1 11:07:51
据计算(Computing)网站上一篇文章说,易趣(eBay)公司高级电子商务主管Darren Bruntz在本周的Teradata大会上告诉听众,他想看到来自Hadoop开源开发团体“更多的专注和活力”,否则易趣(eBay)公司在未来几年可能会放弃它在大数据平台上的使用。

分享到: 新浪微博 腾讯微博
本文关键字: BI 易趣 Bruntz
据计算(Computing)网站上一篇文章说,易趣(eBay)公司高级电子商务主管Darren Bruntz在本周的Teradata大会上告诉听众,他想看到来自Hadoop开源开发团体“更多的专注和活力”,否则易趣(eBay)公司在未来几年可能会放弃它在大数据平台上的使用。这是我见过的对Hadoop团体更强烈的一种斥责,但这个团体面对Bruntz的挑战显得很镇定。
Bruntz描述了易趣(eBay)公司三个平台的大数据环境,包括两个独立的Teradata数据仓库系统,以及一个Hadoop集群。虽然Bruntz预计这个系统还会运转若干年,但他说在未来,如果有新事物出现可以满足易趣的需要,“我们可能会移到一个单一的平台上”。
这是一个意味深长的声明,因为它来自一个Hadoop的主要用户―易趣的Hadoop集群目前远远超过了几十个PB字节―但它并不是一种全新的情绪。Forrester研究公司的James Kobelius预言Hadoop将是新一代企业数据仓库的“核心”,他推测Bruntz想要的那种单一平台的系统类型,但Kobelius认为那仍然是三至五年之外的事。数据库分析师Curt Monash对于Hadoop做为数据仓库的基础一事并不那么确定,但他还是对Hadoop的未来给出了如下的评估:
Hadoop(相对于一般的映射和化简(MapReduce))有太多的失败动因,也许除非它被一个或多个包围再扩展的附加映射和化简(MapReduce)系统所取代,可比它的现在的能力超越许多。
Hadoop在以后要避免成为一种映射和化简(MapReduce)的途径是自身快速的进展;笨重的标准化的努力是很没有意义的。
易趣的数据仓库供应商Teradata,最近收购了Aster的数据系统,它带来了与Hadoop不相关的映射和化简(MapReduce)引擎。无论它的程度可行度有多少,Teradata在某种程度上相信可以交付一种单一大数据平台。另外,有一种新的大数据(HPCC)系统在推出一种Hadoop的替代方案,它可以比Hadoop做更多的事情,并能更深入开发它的技术来提供更多的用例。
然而,如果你读了Cloudera的首席执行官(CEO)MikeOlson本周早些时候发表的博客,你就知道Hadoop团体正在努力推进Hadoop的技术。隐含在一份是否雅虎和Hortonworks所声称的Hadoop统治地位是否公平的声明中,Olson指出:
在早期,如果你想要使用Hadoop,你要手工加载数据到系统中,并编写在映射和化简(MapReduce)框架常规运行的Java程序。广大的团体意识到这些问题并发明了新项目来解决它们―查询用的ApacheHive和ApachePig,数据加载用的ApacheFlume和ApacheSqoop都在逐步发展中,高效记录存储用的ApacheHBase以及更多……这一生态系统近年来爆炸式发展,而大多数围绕Hadoop的创新在新项目中正在发生。这并不令人惊讶―因为Hadoop已经成熟,核心平台已经稳定,而Hadoop团体已集中在它的易于采用和简化使用上。
但即使Apache的Hadoop团体无法充分解决像易趣这样的公司的需求,更大的Hadoop生态系统似乎可以。有些像Hadapt这样的公司事实上正试图让Hadoop成为数据仓库的核心,而像Oracle、EMC和 IBM这样的供应商都将Hadoop与他们的数据仓库和分析数据库产品更紧密相连。MapR也是,正在推行一种Hadoop分布(那种EMC原始设备制作商),据称是更先进的技术和更适用于业务,以及,当然还有Cloudera。
和他们的侧重点各有不同一样,一个共通之处是所有这些供应商都依靠ApacheHadoop为技术或客户基础。他们或者驱动Apache项目解决他们的需要并结合他们的创新,或者他们会将自己对ApacheHadoop的改良版本融入自己的产品。其他方法确实存在,有些可能会茁壮成长,但看起来不像是Hadoop会去其他地方。
责编:何先辉
vsharing 微信扫一扫实时了解行业动态
portalart 微信扫一扫分享本文给好友
著作权声明:kaiyun体育官方人口 文章著作权分属kaiyun体育官方人口 、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。
畅享
首页
返回
顶部
×
畅享IT
    信息化规划
    IT总包
    供应商选型
    IT监理
    开发维护外包
    评估维权
客服电话
400-698-9918
Baidu
map