六个超大规模Hadoop部署案例

通过配额(目前的Hadoop配额需要做一些改进)进行存储容量管理，能够制定良好的保留、归档和备份等策略。我们正根据集群的工作负载和特点，跨不同的集群努力定义这些策略。

度量指标、度量指标、度量指标

我们正在开发成熟可靠的工具，以便生成度量指标，用于度量数据来源、使用情况、预算编制和利用率。一些Hadoop企业服务器体现的现有度量指标有的不够全面，有的只是临时的，很难看清楚集群使用模式。

案例之二：通用电气借助Hadoop分析用户的情感

据通用电气公司(GE)Hadoop技术部的产品经理Linden Hillenbrand声称，情感分析很棘手--它不仅仅是个技术挑战，还是个业务挑战。

在通用电气公司，数字媒体小组和Hadoop小组通力合作，为高度依赖高级情感分析功能的营销部门开发了一款交互式应用软件。

此举目的在于，让营销小组能够通过我们开展的各项活动，评估外界对通用电气所持的看法(正面看法、中立看法或负面看法)。Hadoop负责支持该应用软件的情感分析部分，这部分对Hadoop来说是一种高度密集的文本挖掘应用环境。

他声称，利用Hadoop应对技术层面的这些挑战带来了重大改进。

为了强调这一点，Hillenbrand提到了公司在情感分析方面采取的独特NSQL方法，这一方法带来了80%的准确率，也是Hadoop这个核心平台的基础，确保公司未来在数据挖掘方面求得发展。正如下图表明的那样，通用电气在利用数据挖掘以及新平台带来一种新的洞察力方面有了大幅改进。

Hillenbrand表示，就通用电气在内部对Hadoop未来的展望而言，情感分析项目取得了双重成功。它不仅为这家《财富》50强公司的营销小组提供了更准确的结果，还为这家公司的下一代深度数据挖掘、分析和可视化等项目奠定了基础。

案例之三：旅游行业的典型应用案例

Orbitz Worldwide旗下的全球消费者旅游品牌每天要处理数以百万计的搜索和交易。

通过关系数据库等传统系统，存储和处理这类活动生成的越来越庞大的数据量变得越来越难，因而这家公司求助于Hadoop,帮助消除部分复杂性。

这家公司的首席软件工程师Jnathan Seidman和另一名工程师Ramesh Venkataramiah一向乐于讨论这家旅游网站的基础设施如何加以管理。他们俩在最近面向多位听众的一次交流中讨论了Hive的作用，尤其是对一些关键搜索功能所起的作用。

Hadoop和Hive帮助这家在线旅游中心处理各项事务：改进让游客可以迅速筛选和分类酒店的功能，到查看更宏观内部趋势的功能，不一而足。据这两位工程师声称，rbitz的大数据问题让它成为运用Hadoop的“典型”.他们俩表示，面对很分散的服务网络--这些服务每天生成数百GB大小的当天日志，处理每天数百万的这些搜索和交易，这绝非易事。

他们俩演示了如何利用Hadoop和Hive来处理数据;可能更重要的是，演示了什么使得这家公司的特定问题最适合用Hadoop来处理(因为需要提醒的是一点，并非所有业务都有Hadoop的用武之地)

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友