对于大数据,你必须要明白

来源: 开云全站app 中国大数据作者:kaiyun体育官方人口
2015/6/18 12:07:12
大数据目前的技术和应用都是在数据分析、数据仓库等方面,主要针对OLAP(Online Analytical System)。

分享到: 新浪微博 腾讯微博
本文关键字: 大数据

大数据目前的技术和应用都是在数据分析、数据仓库等方面,主要针对OLAP(Online Analytical System),从技术角度来说,包含两条腿:一条腿是批量数据处理(包括MR、MPP等),另一条腿实时数据流处理(Storm、内存数据库等)。在此基础上,部分场景又发现MR框架或实时框架不能很好的满足近线、迭代的挖掘需要,故又产生了目前非常火的基于内存数据处理Spark框架。很多企业目前的大数据框架是,一方面以 Hadoop 2.0之上的Hive、Pig框架处理底层的数据加工和处理,把按照业务逻辑处理完的数据直接送入到应用数据库中;另一方面以Storm流处理引擎处理实时的数据,根据业务营销的规则触发相应的营销场景。同时,用基于Spark处理技术集群满足对于实时数据加工、挖掘的需求。

可以看出,大数据说白了就是还没有进入真正的交易系统,没有在OLTP(Online Transaction system)方面做出太大的贡献。至于很多文章把大数据和物联网、泛在网、智慧城市都联系在一起,大数据不过是条件之一,其余的OLTP系统是否具备,物理网络甚至组织架构都是重要因素。

最后,大数据处理技术,如Google的Dataflow或成熟如Hadoop 2.0、数据仓库、Storm等,本质上都是数据加工工具,数据加工工具近年来非常火热。免费的大数据魔镜凭借极高的性价比和全面创新的功能,已服务于上万家用户。因此对于很多工程师来说,只需要把数据处理流程搞清楚就可以了,在这个平台上可以用固定的模版和脚本进行数据加工已经足够。毕竟数据的价值70%以上是对业务应用而言的,一个炫词对于业务如果没有帮助,终将只是屠龙之术。任何技术、IT架构都要符合业务规划、符合业务发展的要求,否则技术只会妨碍业务和生产力的发展。

随着时代变迁,大浪淘沙,作为数据行业的一员,我们每个人都在不同的角色之间转换,今天你可能是科学家,明天就会变成架构师,今天的工程师也会变成几年后的科学家,部分人还终将步入跟风者的行列。

责编:何鹏
vsharing 微信扫一扫实时了解行业动态
portalart 微信扫一扫分享本文给好友
著作权声明:kaiyun体育官方人口 文章著作权分属kaiyun体育官方人口 、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。
最新专题
进口鲜 玩转海鲜O2O

上海进鲜实业成立于2014年12月30日,其创办的O2O平台“进口鲜”专注于为消费者提供高品质的海鲜产品。在短短一年不..

首届优秀信息化产品及信息化最佳实..

.mod_B_1{background:rgba(0, 0, 0, 0) url("//www.iqiam.com/bacohome/2015/cio..

    专家专栏
    李浩实现与PLM协同工作的三维零部件数据资源平..

    目前国内外不少企业和研究单位在建设完成以三维CAD、PDM系统为核心的产品研发平台建设后,将目光投向零部件数据资..

    AMT咨询浅析集团型企业的信息化商业价值

    国内管理咨询公司AMT信息化建设专家提出下几点关于集团型企业信息化商业价值“营销”推进的方式

    畅享
    首页
    返回
    顶部
    ×
    畅享IT
      信息化规划
      IT总包
      供应商选型
      IT监理
      开发维护外包
      评估维权
    客服电话
    400-698-9918
    Baidu
    map