大数据：信息时代新挑战

近期，美国政府发布《大数据研究和发展倡议》，拟投资两亿美元，增强从大量复杂数据集合中萃取信息的能力。“大数据”概念受到广泛关注。麦肯锡公司研究表明，人们对于海量数据的运用，预示着新一波生产率增长和消费者盈余浪潮的到来。

我国一些专家认为，“大数据”是指对海量数据进行智慧化处理和决策，这不仅是技术层面的问题，还涉及管理层面、互信机制等问题。建议在专门机构领导下，寻找“大数据”研究切入点，应对信息时代挑战。

具有战略性的智慧化数据处理和决策

据有关专家介绍，“大数据”是一个战略层面的概念，因此，下一个准确定义比较难，认识“大数据”需要从它的特征入手。“大数据”具备四个基本特征：数据体量大，从TB级别，跃升到PB级别；数据类型繁多，包括网络日志、视频、图片、地理位置信息等等；价值密度低，以视频为例，连续不间断监控过程中，有用的数据可能仅仅一两秒；处理速度快。

我国某“大数据”研究团队的专家研究认为，相较于其他数据分析、处理和研究，“大数据”具有战略导向性，具有更高的应用价值。

第一，“大数据”不是指数据量大或不大，而是处理数据的能力与所能获得数据量之间的差距。汪斌强这样阐释：“假如我一天可以处理两三个PB，产生的数据量只有几十兆，那么数据量再大也不算‘大数据’，因为尽在掌握之中。”

“大数据”技术手段相对以往的数据处理有根本性突破。以往通常是设置关键词，在数据库中海量搜索，然后请智囊团分析，通过人脑进行判断和预测。这种方法存在的问题在于，用来分析的数据来自关键词搜索，难以达到完备性。而“大数据”采取反向思路，先剔除掉数据库中的无用信息，这是“大数据”处理跟目前大海捞针式数据处理的本质不同。

第二，“大数据”意味着数据处理从智能走向智慧。该研究团队的专家介绍说，以前的海量数据处理，仅仅是信息资料收集过程，最终的决策和判断由另外的系统负责；而“大数据”的数值搜索和处理是一体化，边搜索边即时处理，需要数据可随对再找。

同时，“大数据”技术将促成数据智慧化的决策和判断。以乌鲁木齐“7.5”事件为例，如果该地区原先发邮件的只有几十个人，某个时间段突然数量激增，说明有异常情况，“大数据”智慧化的即时计算技术能够做到预警。

如果说云计算为数据资产提供了保管、访问的场所和渠道，那么如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，则是“大数据”的核心议题，也是云计算的升级方向。

“大数据”产业链各环节面临发展机遇

该“大数据”研究团队认为，“大数据”的重要影响是，对数据采集从源头上进行控制，挡住一些不具战略意义、没有价值的数据。当前的数据收集工作没有数据分析系统，基本是不经分析过滤全扔进数据库，一来数据库容量有限，二来信息芜杂，有效样本信息获得难度较高。

“大数据”产业链有很多环节，未来都可能面临较大发展机遇。如信息数据的产生环节，公众每天使用的互联网和无线通信，即时通信、微博、手机电话、短信、彩信甚至是每一个互联网点击，都是数据的产生，企业依靠这些数据，可以进行自我分析提升效率，也可以出售数据给专业分析机构。同样，信息数据的存储和采集整理环节也不容忽视。而信息数据的分析产出作为整个“大数据”产业链的最末端，可能将成为具有技术含量和产业附加值的子行业。

“大数据”一问世，便迅速成为计算机行业的热门概念，也引起金融界高度关注。随着互联网技术的不断发展，数据本身即是资产，这一点在业界已经形成共识。最早提出“大数据”时代已经到来的全球咨询机构麦肯锡公司认为，数据已经渗透到每个行业和业务职能领域，逐渐成为重、要的生产因素；而人们对于海量数据的运用，预示着新一波生产率增长和消费者盈余浪潮的到来。

全球多家互联网巨头都意识到“大数据”时代来临的重要意义。惠普、IBM、微软等纷纷通过收购“大数据”相关厂商来实现技术整合。美国政府更是发布《大数据研究和发展倡议》，把“大数据”研究上升为国家意志。

既是技术问题也是管理问题

目前在中国，“大数据”尚未直接以专有名词被政府提出。不过，工业和信息化部发布的物联网“十二五”规划中，把信息处理技术作为四项关键技术创新工程之一提出来，其中包括海量数据存储、数据挖掘、图像视频智能分析，这都是“大数据”的重要组成部分。

国内一家大学的“大数据”研究团队建议，中国发展“大数据”需重视以下几个问题：

一是“大数据”的研究和发展工作可由国家层面的部门主导，成立一支核心研究团队，提供合适的研究环境。目前我国纯商业的数据处理尚未形成行业。

二是积极应对“大数据”挑战。研究“大数据”不单是技术层面的问题，管理层面、互信机制的建立都要跟上，要在顶层设计指导下分重点解决。

三是找准切入点。这家大学的研究团队认为，在信息时代，如何给庞大的数据消肿，把价值密度低的数据库沥掉水分，是研究关键。

数据安全和保密，也是专家关注的问题。在一些专家看来，美国通过星球大战使苏联解体，2005年又抛出“控域”概念，号召发展物联网。但是，美国的信息智能化存储容量和采集水平是我国的两倍，在如此繁杂的数据中搜索出有用数据非常困难。有关专家特别强调说，“美国自己碰到问题了，就抛出来让全球帮它解决，我们必须重视‘大数据’研究过程中的安全性”。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友