运用大数据技术集成数据仓库架构

分析

设计下一代数据仓库平台，需要确定整个数据元素集的分析处理需求并对其划分类别。因为我们可以在数据发现层次上创建分析，虽然这个层次主要受到业务消费者的关注和驱动，与企业应用的实际情况不符合，但是我们一样可以在从数据仓库获得数据之后再创建分析。

图1显示了下一代数据仓库平台的分析处理过程。数据集成层是关键架构集成层，是我语义、报表和分析技术的组合，它基于语义知识框架，是下一代分析和商业智能的基础。本章后面将介绍这个框架。

图1 下一代数据仓库平台的分析处理过程

数据架构的最终确定是最耗费时间的任务，但是一旦完成，它就可以为物理部署提供坚实的基础。物理部署将使用到前面介绍的技术，其中包括大数据和RDBMS系统。

物理组件的集成与架构

下一代数据仓库将部署在异质基础架构和能够把传统的结构化数据和大数据一起整合到一个可扩展运行环境的架构上。有几种方法可以部署物理架构，但是每一种方法都有各自的优点和不足。

下一代数据仓库平台的物理架构将会面对的主要挑战包括数据加载、可用性、数据容量、存储性能、可扩展性、数据的多样变化查询要求、运营成本和环境维护。下面将逐一介绍这些挑战。

数据加载

由于没有明确的格式、元数据或模式，大数据的加载过程只是直接查询数据并将它存储为文件。如果要处理系统的数据源，同时又要处理超大数据或微批处理数据，那么这个任务可能会非常复杂。在这种情况中，可以用一个经过配置和优化的设备来处理这些极端情况，而不要用某一个专业部署。这种方法的缺点是需要定制架构配置，但是它仍然是可管理的。

平台数据的持续处理可能会在一段时间里产生资源争夺问题。这种情况常见于大文档、视频或图像。如果这个需求对架构来说很重要，那么就适合使用一个软设备，这样在配置和安装过程就可以避免这个问题。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友