大数据的挑战和局限

每个人都知道互联网改变了企业经营、政府运作以及人们生活的方式。但是一种新的、不那么明显的技术趋势却有着同样巨大的变革能力，那就是“大数据”。大数据的趋势发端于下面这个事实：如今到处传播的信息比以往任何时候都多出了许多，而且这一趋势正在应用于非同寻常的新用途。大数据与互联网截然不同，虽然互联网使数据的收集和共享方便了很多。大数据的意义并不仅仅是通信：其本质是我们可以从大量的信息中学习到从较少量的信息中无法获取的东西。

将改变人类思考方式

早在公元前3世纪，亚历山大图书馆被认为收藏了全部的人类知识。而如果把当今全世界的信息平分给每一个活着的人，那么每个人拥有的信息量将足足超过当年亚历山大图书馆全部藏书的320倍。如果把所有这些信息刻到光盘上并且分五摞叠起来的话，那么这些光盘可以一直堆到月球。

这种数据爆炸是相对新鲜的现象。仅仅在2000年的时候，全世界全部的存储信息中还只有四分之一是数字化的，其余的都保存在纸张、胶片和其他模拟介质上。但是由于数字数据数量的增长十分迅速——几乎每三年就翻一番，这种情形很快发生了逆转。如今，在所有存储信息中只有不到2%是非数字化的。

鉴于如此悬殊的比例，人们免不了在理解大数据的时候仅仅从数量上进行考虑。然而这将会产生误导。大数据的另一个特征是它能够用数据来表现世界的众多层面，而这些层面以往从来都没有被量化过——这种特征可以被称为“数据化”。例如，位置信息的数据化最早是由于经纬度的发明，而最近又有了GPS。当计算机对几个世纪内的书籍进行取样时，文字便成了被处理的数据。甚至连友谊和爱好也被数据化了——例如通过Facebook。

借助于廉价的电脑内存、高性能处理器、智能算法、聪明软件以及从基本统计学中借鉴来的数学知识，这样的一类数据正在被应用于难以置信的新用途中。这种新方法并不是试图“教会”计算机去从事驾驶或翻译这样的事情，而是要向计算机输入足够多的信息，从而使它们能够推断概率，例如交通指示绿灯亮、红灯不亮的概率，或者是在特定语境下“light”一词意为“光”而不是“轻”的概率。

以这种方式对大量数据加以利用，要求人们在三个方面彻底改变对数据的态度。第一是收集和使用大量数据，而不是像统计学家们在过去100多年里所做的那样，只满足于少量的数据或样本。第二是抛弃人们对有条理和纯净的数据的偏爱，转而接受杂乱无章——在越来越多的情形下，少许的不精确是可以容忍的。第三，在许多场合，人们需要放弃对事情原委的追究，而代之以对相关性的接纳。利用大数据，而不是试图弄懂发动机抛锚或药物副作用消失的确切原因，研究人员可以收集和分析大量有关此类事件的信息及一切相关素材，找出可能有助于预测未来事件发生的规律。大数据有助于回答是什么、而不是为什么的问题——通常有这样的回答就足够了。

互联网重塑了人类交流的方式。大数据则不同：它标志着社会处理信息方式的变化。随着时间的推移，大数据可能会改变人们思考世界的方式。随着人们利用越来越多的数据来理解事情和作出决定，人们很可能会发现生活的许多层面是随机的、而不是确定的。

从因果关系到相关性

人们看待数据的方式的两个变化——从局部变为全部以及从纯净变为凌乱——催生了第三个变化：从因果关系到相关性。这代表着告别总是试图了解世界运转方式背后深层原因的态度，而走向仅仅需要弄清现象之间的联系以及利用这些信息来解决问题。

加拿大的研究人员正在开发一种大数据手段，以便能在明显症状出现之前发现早产婴儿体内的感染。通过把包括心率、血压、呼吸和血氧水平等16种生命体征转化成每秒1000多个数据点的信息流，他们已经能够找到极其轻微的变化与较为严重的问题之间的相关性。最终，这项技术将使医生能够提前采取行动，从而拯救生命。

大数据所产生的影响将远远超出医学和消费品的范畴：它将深远地改变政府的运作方式和政治的性质。在推动经济增长、提供公共服务或进行战争等方面，那些能够有效利用大数据的人将拥有胜过别人的巨大优势。迄今为止，最令人兴奋的成果出现在市级，在这个级别上获取数据和利用这些信息进行实验要容易一些。纽约市长迈克尔·布隆伯格(他本人就是靠着数据行业发家的)率先进行了一项努力：该市正在利用大数据改善公共服务和降低成本。其中一个例子就是新的火灾预防策略。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友