如何逃出大数据困境?开源或是关键手段

来源:it168  作者:剑鱼
2012/4/19 10:21:24
繁琐和昂贵的专有企业搜索产品不能处理现有的结构化数据存储,并且不能以具有成本效益的方式来测量数据的规模和速度。现在我们的目的是找到一种能够对所有数据存储进行搜索、发现和分析(SDA)的解决方案,很多公司试图寻求开源方面的搜索功能应用程序,例如Apache Solr,以及大数据解决方案,例如Apache Hadoop,能够为他们提供及时和具有成本效益的对不断增长的数据总体的访问能力和洞察力。

本文关键字: 存储 大数据 开源

开源的角色

 

现在的商业智能和企业搜索的专有应用程序都没有“坐以待毙”。商业智能增加了更多类似搜索的功能,并且搜索肯定取代了很多商业智能功能。但是在几年前,专有解决方案似乎是最安全的方法,而开源解决方案似乎更具风险。而现在,很多公司开始看到,因为开源项目独立于企业财务决策,他们对于保护其长期投资更具后劲。此外,很多企业发现他们更容易获得、培训和留住开源人才,因为,他们可以深入代码。

 

在商业硬件上运行的开源应用程序也是实现真正可扩展解决方案的最佳途径之一。扩展专有解决方案总是会面对财务阻碍,并且随着越来越多的数据需要汇入这些系统,这个问题变得更大了。开源进行扩展更具成本效益,因为你不需要相关的授权费用。当然,这并不是免费的午餐,但是开源每年都会降低成本,即时在某些情况下,前期成本似乎更高。

 

例如,考虑一下,一家金融服务公司面临着扩展的严峻挑战:在交易方面有巨大的交易数量,同时需要保存、访问和搜索大规模非结构化数据(客户端电子邮件、M&A数据等)以满足监管目的。很多企业可能坐在数据的金矿中而他们却全然不知,因为他们根本就不具备回答各种问题来发现这种信息的能力。相反的,对他们而言,这些数据就像是一个黑洞:信息进入,但从来没有出来过。

 

通过Hadoop集群来聚合信息,通过Lucene/Solr来提出正确的问题,突然间,这些公司能够产生大量聚合信息以加强贸易和市场分析,并且通过粒度搜索和发现来实现更好的业务分析和合规以及电子发现。开源解决方案使企业负担得起这种系统,并且能从长远角度来进行扩展。

 

深入而广泛的灵活性

 

通过主要的“大数据”工具(包括用于搜索的Lucene/Solr、用于聚类大规模数据的Hadoop、Hive和HBase以及用于大规模分析和学习的Apache Mahout、Apache Pig等工具),具有搜索功能的开源应用程序能够帮助企业对信息获得更深入的的洞察力,这主要通过为企业开发人员和他们服务的用户提供具有检索性的信息和可访问的机器学习算法。这些工具不仅能够允许我们都习惯使用的传统关键字搜索,还为用户提供了提出深刻和更困难问题的能力。

 

通过消除耗时又限制利益的设置数据刚性结构的过程,可以让用户提出他们需要提出的问题,基于目前的业务现状,而不是基于业务分析师或者数据库设计者几个月或者几年前的意见。这些应用程序还能够消除了数月的延误时间,以及到IT来重组数据库或者创建新的查询的需要。此外,由于其扩展能力,这些应用程序还能够保留这些信息以用于未来使用,当然在未来,我们毫无疑问会有不同的想法和处理技术,从而延续了这些系统的价值。

 

开源SDA解决方案提供了具有成本效益的对所有类型数据的搜索和分析,开源解决方案的崛起是不可避免的。这是一个生存问题,如果没有开源解决方案,我们将被淹没在数据海洋中。这也是一个成本问题,我们发现如果没有开源解决方案,我们将很难扩展搜索和分析。这还是一个竞争力的问题,如果没有开源解决方案,企业将无法与客户进行互动,或者有效地发挥员工的价值。因此,你需要回答的问题是,SDA是否符合你的信息战略?

共3页: [1] [2]3 下一页
责编:赵龙
vsharing微信扫一扫实时了解行业动态
portalart微信扫一扫分享本文给好友

著作权声明:kaiyun体育官方人口 文章著作权分属kaiyun体育官方人口 、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。
最新专题
流动存储 为大数据而生

伴随信息技术的突飞猛进,更大量级的非结构化数据与结构化数据构成的大数据成为企业级存储所面临的最大挑战:一方..

磁盘阵列及虚拟化存储

利用数组方式来作磁盘组,配合数据分散排列的设计,提升数据的安全性。虚拟化存储,对存储硬件资源进行抽象化表现。

    畅享
    首页
    返回
    顶部
    ×
      信息化规划
      IT总包
      供应商选型
      IT监理
      开发维护外包
      评估维权
    客服电话
    400-698-9918
    Baidu
    map