谢文：大数据时代聚沙成塔集腋成裘

来源：博客作者：谢文

2012/5/28 13:21:05

在地球任意地方捡起一块石头，都可以验出铁元素。但是，说世界遍地都是铁矿一定是胡扯。只有石头中铁含量超过一定比例，而石头数量又达到相当规模，这堆石头才能称为铁矿，人们才会对它产生投资开采的兴趣。

本文关键字：谢文大数据

在地球任意地方捡起一块石头，都可以验出铁元素。但是，说世界遍地都是铁矿一定是胡扯。只有石头中铁含量超过一定比例，而石头数量又达到相当规模，这堆石头才能称为铁矿，人们才会对它产生投资开采的兴趣。如果铁矿石埋藏不是太深，开采和运输的成本不是太高，市场有长期稳定的购买需求，那么铁矿开采的兴趣才会变成行动，成为一个有利可图的商业活动。

同样的道理也适用于对于大数据由来的分析。有了互联网，也就有了网络数据。随着网民的增加和网络服务的日益丰富，网络数据也就丰富起来。做个网站，上面罗列些服务，无论它们是新闻资讯，还是产品商品，或者是娱乐游戏，只要有用户问津，就会给服务提供商留下些使用记录。无论这些数据如何简陋孤立，但只要有用户ID和点击量，就可以支撑起网络广告商业模式。只要有用户注册信息和支付账户，就可以支撑起电子商务和会员制服务的商业模式。随着新增网络用户增速的降低和同质性网络服务数量的增加，逼迫网络服务提供商开始从粗放式经营走向精细化经营，试图通过提高市场推广的投入产出比来提高收入和利润。在走向精细化经营的种种努力中，一个被普遍采用的方式就是数据挖掘。

过去由于大部分互联网公司是以产品与服务为中心，所以获得的基本上是单一产品与用户之间的行为记录，缺少产品之间，用户之间，以及更复杂的产品逻辑和用户行为逻辑的数据，也就是业内俗称的数据的非结构化，非关系化或碎片化。所以，尽管一些公司里有些专家在做数据整合与分析，也有一些专门从事数据发掘的公司，工具和专业服务，但总的看起来，数据收集，整理，挖掘所需的成本与产生的效益相比，性价比不高，吸引力不大。就像前面说到的贫铁矿一样，含金量不高的数据无论规模多大，挖掘多深，也是形同鸡肋，食之无味，弃之可惜。

这一局面到了WEB2.0时代发生了根本性的转变。以FACEBOOK为例，可以看出大数据是如何在日常服务中自我形成：首先，用户需要注册才可以使用，这一注册ID可以通行于数以千万计的网站之中(FACEBOOK CONNECT)，也通行于数以百万计的第三方应用之中(Open Platform)。这就构成了用户身份的确定性和唯一性。其次，用户与用户之间直接与间接的双向互动关系构成了动态的，稳定的，不断变动与发展的社会网络，信息传播和产品与服务的推广的脉络清晰，结构分明。第三，开放平台的众多通用标准和接口诱导广大的第三方应用提供商使用统一的数据格式，结构和逻辑，使得数据的汇合与整合相对简单容易。第四，网站架构的简洁性(例如WALL和NEWFEED)使得众多平台功能所产生的数据自动耦合，使复杂的社交数据能够有序形成，便于整理分析。第五，TIMELINE，OPENGRAPH，CREDIT等一系列机制将千姿百态，错综复杂的用户网络行为整合成时空逻辑清楚，行为逻辑可查的行为数据链。凡此种种，FACEBOOK自觉或不知觉地成为了网络业内第一个能够生成大数据的公司。当然，这不是说它是生成大数据的唯一形式或者它已经对分析利用大数据很成功了。

正在成为大数据拥有和使用者的公司不止FACEBOOK一家。苹果在操作系统和网络终端上正在努力形成大数据的生成之地，谷歌 (微博) 在操作系统，搜索系统和GOOGLE+平台上正在努力整合众多产品，形成可资利用的大数据，亚马逊正在通过网络平台，云计算平台和阅读终端形成一个电子商务垂直领域的大数据汇集地。国内一些互联网公司也在有意无意之中，在一些较低层面上努力着，例如搞些云计算，输入法，浏览器，杀毒平台，以及各种木马，COOKIE之类的东西，试图获取和整合更多的用户行为数据。总之，增强数据结构性，加大数据关系性，把碎片化的数据用种种手段整合起来并加以利用，这是产业发展的一个显著走向。

就整个产业而言，网络业在处于大数据时代的萌芽初期。在商业模式和经营水平对大数据的依赖程度上，除了搜索，整体上低于电信业，金融业，证券业，保险业，航空业，旅店业等传统产业的水平。但是，网络业的后发优势也十分明显。随着其他传统产业的互联网化，随着广大用户的日常工作与生活越来越依赖于互联网，一个由网络业牵头，整合各行各业，全面系统地记录与把握亿万用户的行为模式的大数据系统三五年内会有个雏形，一个巨大的富铁矿正在形成。至于谁会抢占先发地位，推出事实标准，发展崭新的服务模式和商业模式，就要看业内人士的悟性，努力与造化了。

责编：赵龙