扫描二维码

订阅kaiyun体育官方人口 微信

融入大数据时代,你的基础软件平台“一体化”了么?

来源:中国软件网  
2014/3/5 10:14:30
当前,国家的大数据战略、信息安全战略,以及大数据行业应用引发了对国产大数据处理基础软件平台的强劲需求。

本文关键字: 大数据 基础软件 一体化

融入大数据时代,你的基础软件平台“一体化”了么?

HAVEn Platform结构图  
 
围绕行业大数据应用构建大数据处理基础软件平台的关键问题是如何解决结构化和非/半结构化不同类型的数据融合,以及实现不同类型数据处理模式的整合。单一的MPP数据库或Hadoop产品一般很难满足行业用户对结构化和非/半结构化数据融合的业务需求,这两种方式的界限正在实际应用部署被打破,市场上正逐步形成以全数据处理为核心,垂直整合操作系统、MPP数据库、Hadoop、统一数据服务的基础软件平台产品。  
 
在国内,业界的主流思路是:用基于MPP架构的新型数据库集群(如EMC GreenPlum、南大通用GBase 8a、HP Vertica等)管理结构化大数据,侧重于行业大数据分析型应用场景;用基于Hadoop的技术扩展和封装(如HBase数据库)管理非/半结构化大数据,侧重于互联网大数据应用场景。MPP集群与Hadoop产品混搭部署、相互融合,共同支撑大数据应用。  
 
MPP与Hadoop的应用融合是大数据处理基础软件平台需要解决的一个核心技术问题。为了让平台能够更好地支撑行业大数据应用,不改变用户习惯的SQL这种更易于理解的、交互性更好的访问接口,架构需要以MPP数据库及计算框架为核心,将MPP运算调度引擎完全融入非关系型运算调度框架,实现可以同时调度关系运算和非关系运算的调度引擎,构建统一的结构化信息提取和数据类型转换框架,将非/半结构化数据映射为关系模型,实现面向关系模型的全数据统一视图,从而平滑的实现MPP数据库和Hadoop的统一调度和处理,为新型的基础软件平台和上层应用提供数据服务。  
 
当前,国家的大数据战略、信息安全战略,以及大数据行业应用引发了对国产大数据处理基础软件平台的强劲需求。国产基础软件厂商应协同作战,抓紧市场与技术的双重时机,发展国产化大数据处理基础软件平台,并在国计民生的大数据应用系统中成为重要支撑。与此同时,在关键发展时间窗,国家应及时给予大力支持和帮助,避免大数据领域基础软件平台几年后再次走上“国产化”替代的老路。

 

共2页: [1]2 下一页
责编:王雅京
vsharing微信扫一扫实时了解行业动态
portalart微信扫一扫分享本文给好友

著作权声明:kaiyun体育官方人口 文章著作权分属kaiyun体育官方人口 、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。
畅享
首页
返回
顶部
×
    信息化规划
    IT总包
    供应商选型
    IT监理
    开发维护外包
    评估维权
客服电话
400-698-9918
Baidu
map