大数据:信息时代新挑战

来源:至诚财经  
2012/7/13 10:51:17
近期,美国政府发布《大数据研究和发展倡议》,拟投资两亿美元,增强从大量复杂数据集合中萃取信息的能力。“大数据”概念受到广泛关注。麦肯锡公司研究表明,人们对于海量数据的运用,预示着新一波生产率增长和消费者盈余浪潮的到来。

本文关键字:

近期,美国政府发布《大数据研究和发展倡议》,拟投资两亿美元,增强从大量复杂数据集合中萃取信息的能力。“大数据”概念受到广泛关注。麦肯锡公司研究表明,人们对于海量数据的运用,预示着新一波生产率增长和消费者盈余浪潮的到来。

我国一些专家认为,“大数据”是指对海量数据进行智慧化处理和决策,这不仅是技术层面的问题,还涉及管理层面、互信机制等问题。建议在专门机构领导下,寻找“大数据”研究切入点,应对信息时代挑战。

具有战略性的智慧化数据处理和决策

据有关专家介绍,“大数据”是一个战略层面的概念,因此,下一个准确定义比较难,认识“大数据”需要从它的特征入手。“大数据”具备四个基本特征:数据体量大,从TB级别,跃升到PB级别;数据类型繁多,包括网络日志、视频、图片、地理位置信息等等;价值密度低,以视频为例,连续不间断监控过程中,有用的数据可能仅仅一两秒;处理速度快。

我国某“大数据”研究团队的专家研究认为,相较于其他数据分析、处理和研究,“大数据”具有战略导向性,具有更高的应用价值。

第一,“大数据”不是指数据量大或不大,而是处理数据的能力与所能获得数据量之间的差距。汪斌强这样阐释:“假如我一天可以处理两三个PB,产生的数据量只有几十兆,那么数据量再大也不算‘大数据’,因为尽在掌握之中。”

“大数据”技术手段相对以往的数据处理有根本性突破。以往通常是设置关键词,在数据库中海量搜索,然后请智囊团分析,通过人脑进行判断和预测。这种方法存在的问题在于,用来分析的数据来自关键词搜索,难以达到完备性。而“大数据”采取反向思路,先剔除掉数据库中的无用信息,这是“大数据”处理跟目前大海捞针式数据处理的本质不同。

第二,“大数据”意味着数据处理从智能走向智慧。该研究团队的专家介绍说,以前的海量数据处理,仅仅是信息资料收集过程,最终的决策和判断由另外的系统负责;而“大数据”的数值搜索和处理是一体化,边搜索边即时处理,需要数据可随对再找。

同时,“大数据”技术将促成数据智慧化的决策和判断。以乌鲁木齐“7.5”事件为例,如果该地区原先发邮件的只有几十个人,某个时间段突然数量激增,说明有异常情况,“大数据”智慧化的即时计算技术能够做到预警。

如果说云计算为数据资产提供了保管、访问的场所和渠道,那么如何盘活数据资产,使其为国家治理、企业决策乃至个人生活服务,则是“大数据”的核心议题,也是云计算的升级方向。

“大数据”产业链各环节面临发展机遇

该“大数据”研究团队认为,“大数据”的重要影响是,对数据采集从源头上进行控制,挡住一些不具战略意义、没有价值的数据。当前的数据收集工作没有数据分析系统,基本是不经分析过滤全扔进数据库,一来数据库容量有限,二来信息芜杂,有效样本信息获得难度较高。

“大数据”产业链有很多环节,未来都可能面临较大发展机遇。如信息数据的产生环节,公众每天使用的互联网和无线通信,即时通信、微博、手机电话、短信、彩信甚至是每一个互联网点击,都是数据的产生,企业依靠这些数据,可以进行自我分析提升效率,也可以出售数据给专业分析机构。同样,信息数据的存储和采集整理环节也不容忽视。而信息数据的分析产出作为整个“大数据”产业链的最末端,可能将成为具有技术含量和产业附加值的子行业。

“大数据”一问世,便迅速成为计算机行业的热门概念,也引起金融界高度关注。随着互联网技术的不断发展,数据本身即是资产,这一点在业界已经形成共识。最早提出“大数据”时代已经到来的全球咨询机构麦肯锡公司认为,数据已经渗透到每个行业和业务职能领域,逐渐成为重、要的生产因素;而人们对于海量数据的运用,预示着新一波生产率增长和消费者盈余浪潮的到来。

全球多家互联网巨头都意识到“大数据”时代来临的重要意义。惠普、IBM微软等纷纷通过收购“大数据”相关厂商来实现技术整合。美国政府更是发布《大数据研究和发展倡议》,把“大数据”研究上升为国家意志。

既是技术问题也是管理问题

目前在中国,“大数据”尚未直接以专有名词被政府提出。不过,工业和信息化部发布的物联网“十二五”规划中,把信息处理技术作为四项关键技术创新工程之一提出来,其中包括海量数据存储、数据挖掘、图像视频智能分析,这都是“大数据”的重要组成部分。

国内一家大学的“大数据”研究团队建议,中国发展“大数据”需重视以下几个问题:

一是“大数据”的研究和发展工作可由国家层面的部门主导,成立一支核心研究团队,提供合适的研究环境。目前我国纯商业的数据处理尚未形成行业。

二是积极应对“大数据”挑战。研究“大数据”不单是技术层面的问题,管理层面、互信机制的建立都要跟上,要在顶层设计指导下分重点解决。

三是找准切入点。这家大学的研究团队认为,在信息时代,如何给庞大的数据消肿,把价值密度低的数据库沥掉水分,是研究关键。

数据安全和保密,也是专家关注的问题。在一些专家看来,美国通过星球大战使苏联解体,2005年又抛出“控域”概念,号召发展物联网。但是,美国的信息智能化存储容量和采集水平是我国的两倍,在如此繁杂的数据中搜索出有用数据非常困难。有关专家特别强调说,“美国自己碰到问题了,就抛出来让全球帮它解决,我们必须重视‘大数据’研究过程中的安全性”。

 

责编:赵宝锋
vsharing微信扫一扫实时了解行业动态
portalart微信扫一扫分享本文给好友

著作权声明:kaiyun体育官方人口 文章著作权分属kaiyun体育官方人口 、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。
畅享
首页
返回
顶部
×
    信息化规划
    IT总包
    供应商选型
    IT监理
    开发维护外包
    评估维权
客服电话
400-698-9918
Baidu
map