新挑战 新技术 新产品——2011数据仓库市场盘点

新技术

为了应对以上的挑战，数据仓库市场出现了以下的新技术：

1、 内存计算技术

内存计算是指直接从内存，而不是硬盘上读取数据，并进行计算、分析，是对传统数据处理方式的一种加速。内存计算非常适合处理海量的数据，以及需要实时获得结果的数据，比如可以将一个企业近10年的几乎所有财务、营销、市场等方面的数据一次性地保存在内存里，并在此基础上进行数据的分析。当企业需要做快速的账务分析，或要对市场进行分析时，内存计算就能够快速地按照需求完成。

SAP收购Sybase之后推出了内存分析设备HANA，Oracle在收购TimesTen后，发布的类似产品Exalytics，都是内存技术的一种创新发展。

2、 数据库内分析（In-Database Analytics）

对于传统的分析方法来说，如何在大数据量、吞吐量与准确性之间维持平衡一直都是巨大的挑战，因为传统的方法在进行数据分析时要求将数据从数据库中移出然后再进行分析，这种数据移动占用了整个分析进程75%以上的时间，对所提交业务所需的结果带来了严重的限制。

数据库内分析数据在结果被过滤和处理之前不会离开数据库，也就是说，数据分析在数据库内可以即时完成，这就大大节省了数据移动所占用的大量的时间；同时通过将数据保持在数据库内，还大大提高了数据安全的级别。数据库内分析能够提供一个同时实现所有三个目标的分析平台。

3、 非关系型数据库（NoSQL）的快速发展

传统的关系数据库在应付web2.0网站，特别是超大规模的和高并发的SNS类型的web2.0纯动态网站等方面已经显得力不从心，暴露了很多难以克服的问题，这也致使非关系型的数据库成为了一个热门的新领域，发展非常迅速。非关系型数据库的优点有：可以处理超大量的数据，能够运行在便宜的PC服务器集群上等。目前大型的数据库厂商开始将目光集中在NoSQL领域，Oracle推出了基于BerkeleyDB的NoSQL数据库，IBM也将推出具备NoSQL功能的DB2旗舰数据库。有了大厂商的支持，NoSQL走上商业的道路似乎已经成为定局，而这也给数据仓库市场带来了一些机遇。

4、 实时操作性数据复制 (ODR) 和低冲击变化数据捕捉 (CDC) 技术

实时操作性数据复制（ODR）能够完美地快速拷贝数据并能确保交易的完整性。它在从提取、转换与加载（ETL）向ELT（数据先复制到数据仓库然后再转换）转变的趋势里也起着非常重要的作用。变化数据捕捉（CDC）通过仅捕捉和提供对企业数据源做出的变更，能缩短等待时间，并且对源数据库服务器产生最小或边缘的影响。

实时操作性数据复制 (ODR) 和低冲击变化数据捕捉 (CDC) 技术作为对传统数据ETL的补充可以用来创造一个更为稳健的数据管理和整合环境。

5、 Hadoop技术

Hadoop是一项专门应对大数据的技术，特别是在应对非结构化数据方面，比如社交网络以及Web应用中，文本信息，应用、网络和安全日志数据等。Hadoop是基于免费许可、支持数据密集型分布式应用的软件框架，建立在MapReduce技术上，使应用可以处理数千个节点和PB级数据，让数据处理和数据分析变得更加方便快捷，应用于企业中将改变很多企业的业务模式，它包括但并不局限于分布式计算Hadoop。

Hadoop在可伸缩性、强健性、性能和成本上具有无可替代的优势，已成为当前互联网企业主流的大数据分析平台。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友