|
大数据就是很多数据?NO!
自2011年以来,大数据旋风以“迅雷不及掩耳之势”席卷中国。毋庸置疑,大数据已然成为继云计算、物联网之后新一轮的技术变革热潮,不仅是信息领域,经济、政治、社会等诸多领域都“磨刀霍霍”向大数据,准备在其中逐得一席之地。
故事03:醉汉路灯下找钥匙——大数据的研究方法可笑吗? 一天晚上,一个醉汉在路灯下不停地转来转去,警察就问他在找什么。醉汉说,我的钥匙丢了。于是,警察帮他一起找,结果路灯周围找了几遍都没找到。于是警察就问,你确信你的钥匙是丢到这儿吗?醉汉说,不确信啊,我压根就不知道我的钥匙丢到哪儿。警察怒从心中来,问,那你到这里来找什么?醉汉振振有辞:因为只有这里有光线啊! 图4 醉汉路灯下找钥匙(图片来源:经济学人) 这个故事很简单,看完这个故事,有人可能会感叹醉汉的“幼稚”、“可笑”。但不好笑的是,“乌鸦笑猪黑,自己不觉得”,这个故事也揭示了一个事实:在面临复杂问题时,我们的思维方式也常同这个醉汉所差无几,同样也是先在自己熟悉的范围和领域内寻找答案,哪怕这个答案和自己的领域“相隔万里”! 还有人甚至认为,醉汉找钥匙的行为,恰恰就是科学研究所遵循的哲学观。前人的研究成果,恰是是后人研究的基石,也即这则故事中的“路灯”。到路灯下找钥匙,虽看来有些荒唐,但也是“无奈之下”的明智之举。 数据那么大,价值密度那么低,你也可以去分析,但从何分析起?首先想到的方法和工具,难道不是当下你最熟悉的?而你最熟悉的,就能确保它就是最好的吗?进入,8.5线上活动带你了解一线厂商的大数据实践,助你一臂之力! 沃顿商学院著名教授、纽约时报最佳畅销书作者乔纳伯杰(Jonah Berger)从另外一个角度,解读这个故事【6】:在这里,浩瀚的黑夜就是如同全数据,“钥匙”就好比是大数据分析中我们要找到的价值目标,他认为,“路灯”就好比我们要达到这个目标的测量“标尺”,如果这个标尺的导向有问题,顺着这个标尺导引,想要找到心仪的“钥匙”,是非常困难的!在我们痴迷于某项自己熟悉的特定测量标尺之前,一定要提前审视一下,这个测量标尺是否适合帮助我们找到那把“钥匙”,如果不能,赶快换一盏“街灯”吧! 如果在黑暗中丢失的钥匙,是大数据中的价值,那这个价值也太稀疏了吧。下面的故事,让我们聊聊大数据的价值。 故事04:园中有金不在金——大数据的价值 人们在描述大数据时,通常表明其具备4个V特征,即4个以V为首字母的英文描述:Volume(体量大)、Variety(模态多)、Velocity(速度快)及Value(价值大)。前三个V,本质上,是为第四个V服务的。试想一下,如果大数据里没有我们希望得到的价值,我们为何还辛辛苦苦这么折腾前3个V? 英特尔中国研究院院长吴甘沙先生说,“鉴于大数据信息密度低,大数据是贫矿,投入产出比不见得好。”《纽约时报》著名科技记者Steve Lohr,在其采访报道“大数据时代(The Age of Big Data)”中表明【7】,大数据价值挖掘的风险还在于,会有很多的“误报”发现,用斯坦福大学统计学教授Trevor Hastie的话来说,就是“在数据的大干草垛中,发现有意义的“针”,其困难在于“很多干草看起来也像针(The trouble with seeking a meaningful needle in massive haystacks of data is that “many bits of straw look like needles)” 针对大数据的价值,李国杰院士借助中国传统的寓言故事《园中有金》,从另外一个角度,说明大数据的价值,寓言故事是这样的【8】: 有父子二人,居山村,营果园。父病后,子不勤耕作,园渐荒芜。一日,父病危,谓子曰:园中有金。子翻地寻金,无所得,甚怅然。是年秋,园中葡萄、苹果之属皆大丰收。子始悟父言之理。 人们总是期望,能从大数据中挖掘出意想不到的“大价值”。可李国杰院士认为【8】,实际上,大数据的价值,主要体现在它的驱动效应上,大数据对经济的贡献,并不完全反映在大数据公司的直接收入上,应考虑对其他行业效率和质量提高的贡献。 大数据是典型的通用技术,理解通用技术的价值,要懂得采用“蜜蜂模型”:蜜蜂的最大效益,并非是自己酿造的蜂蜜,而是蜜蜂传粉对农林业的贡献——你能说秋天的累累硕果,没有蜜蜂的一份功劳? 回到前文的小故事,儿子翻地的价值,不仅在于翻到园中的金子,更是在于翻地之后,促进了秋天果园的丰收。在第03个小故事中,醉汉黑暗中寻找的钥匙,亦非最终的价值,通过钥匙打开的门才是。 对于大数据研究而言,一旦数据收集、存储、分析、传输等能力提高了,即使没有发现什么普适的规律或令人完全想不到的新知识,也极大地推动了诸如计算机软硬件、数据分析等行业的发展,大数据的价值也已逐步体现。 李国杰院士认为,我们不必天天期盼奇迹出现,多做一些“朴实无华”的事,实际的进步就会体现在扎扎实实的努力之中。一些媒体总喜欢宣传一些抓人眼球的大数据成功案例。但从事大数据行业的人士,应保持清醒的头脑:无华是常态,精彩是无华的质变。 如果把“大数据”比作农夫父子院后的那片土地,那么土地的面积越大,会不会能挖掘出的“金子”就越多呢?答案还真不是,下面的故事我们说说大数据的大小之争。 故事05:盖洛普抽样的成功——大小之争,“大”数据一定胜过小抽样吗? 1936年,民主党人艾尔弗雷德兰登(Alfred Landon)与时任总统富兰克林·罗斯福(Franklin Roosevelt)竞选下届总统。《文学文摘》(The Literary Digest)这家颇有声望的杂志承担了选情预测的任务。之所以说它“颇有声望”,是因为《文学文摘》曾在1920年、1924年、1928年、1932年连续4届美国总统大选中,成功地预测总统宝座的归属。 显然,盖洛普有他独到的办法,而从数据体积大小的角度来看,“大”并不能决定一切。民意调查是基于对投票人的大范围采样。这意味着调查者需要处理两个难题:样本误差和样本偏差。 在过去的200多年里,统计学家们总结出了在认知数据的过程中存在的种种陷阱(如样本偏差和样本误差)。如今数据的规模更大了,采集的成本也更低了,“大数据”中依然存在大量的“小数据”问题,大数据采集同样会犯小数据采集一样的统计偏差【3】。我们不能掩耳盗铃,假装这些陷阱都已经被填平了,事实上,它们还都在,甚至问题更加突出。 盖洛普成功的法宝在于,科学地抽样,保证抽样的随机性,他没有盲目的扩大调查面积,而是根据选民的分别特征,根据职业、年龄、肤色等在3000人的比重,再确定电话访问、邮件访问和街头调查等各种方式所在比例。由于样本抽样得当,就可以做到“以小见大”、“一叶知秋”。 《文学文摘》的失败在于,取样存在严重偏差,它的调查对象主要锁定为它自己的订户。虽然《文学文摘》的问卷调查数量不少,但它的订户多集中在中上阶层,样本从一开始就是有偏差的(sample bias),因此,推断的结果不准,就不足为奇了。而且民主党人艾尔弗雷德兰登的支持者,似乎更乐于寄回问卷结果,这使得调查的错误更进了一步。这两种偏差的结合,注定了《读者文摘》调查的失败。 我们可以类比一下《文学文摘》的调查模式,试想一样,如果在中国春运来临时,在火车上调查,问乘客是不是买到票了,即使你调查1000万人,这可是大数据啊,结论毫无意外地是都买到了,但这个结果无论如何都是不科学的,因为样本的选取是有偏的。 当然,采样也是有缺点的,如果采样没有满足随机性,即使百分之几的偏差,就可能丢失“黑天鹅事件”的信号,因此在全数据集存在的前提下,全数据当然是首选(但从第02故事中,我们可以看到,全数据通常是无法得到的)。对针对数据分析的价值,英特尔中国研究院院长吴甘沙先生给出了一个排序:全数据>好采样数据>不均匀的大量数据。 大数据分析技术运用得当,能极大地提升人们对事物的洞察力(insight),但技术和人谁在决策(decision-making)中起更大作用?在下面的“点球成金”小故事,我们聊聊这个话题。 故事06:点球成金——数据流PK球探,谁更重要? 《点球成金》(Moneyball)又是一例数据分析的经典故事: 长期以来,美国职业棒球队的教练们依赖惯例规则是,依据球员的“击球率(Batting Average, AVG)”(其值等于安打数/打数),来挑选心仪的球员。而奥克兰“运动家球队”的总经理比利比恩(Billy Beane)却另辟新径,采用上垒率指标(On-Base Percentage, OBP)来挑选球员,OBP代表一个球员能够上垒而不是出局的能力。 图5 点球成金(图片来源:wikipedia.org) 这个故事讲得是数量化分析和预测对棒球运动的贡献,吴甘沙先生认为,它在大数据背景下出现了传播的误区: 第一,它频繁出现在诸如舍恩伯格《大数据时代》之类的图书中,其实这个案例并非大数据案例,而是早已存在的数据思维和方法。在“点球成金”案例中的数据,套用大数据的4V特征,基本上,无一符合。 第二,《点球成金》无论是小说,还是拍出来的同名电影,都刻意或无意忽略了球探的作用。从读者/观众的角度来看,奥克兰“运动家球队”的总经理比利·比恩完全运用了数据量化分析取代了球探。而事实上,在运用这些数据量化工具的同时,比恩也增加了球探的费用,“军功章里”有数据分析的一半,也有球探的一半。 目前的大数据时代,就有这么两个流派,一派是技术主导派,他们提出“万物皆数”,要么数字化,要么死亡(孙正义在对日本企业界的演讲上所言),他们认为技术在决策中占有举足轻重地作用。另一派是技术为辅派,他们认为,技术仅仅是为人服务的,属于为人所用的众多工具的一种,不可夸大其作用。 针对《点球成金》这个案例,比利比恩的拥趸者就属于“数据流党”,而更强调球探作用的则归属于“球探党”。 球探党Bill Shanks在其所著的《球探的荣耀:论打造王者之师的最勇敢之路》(Scout’s Honor: The Bravest Way To Build A Winning Ballteam)中【9】,对数据流党的分析做出了强有力地回应。他认为,球探对运动员定性指标(如竞争性、抗压力、意志力,勤奋程度等)的衡量,是少数结构化数据(如上垒率等)指标无法量化刻画的。 和《点球成金》观点针锋相对的是,Bill Shanks更认可球探的作用,他把球探的作用命名为“勇士”哲学。对于勇士来说,数据分析只是众多“刀枪棍棒”兵刃中的一种,无需奉之如圭臬,真正能“攻城略地”的还是需要勇士。比如说,运动家棒球队虽然在数据分析的指导下,获得了震惊业界的好成绩,然而他们并没有取得季后赛的胜利,也没有夺取世界冠军,这说明,数据分析虽重要,但人的作用更重要! 从第01故事的分析中,我们知道,大数据分析的第一层作用就是,面向过去,发现潜藏在数据表面之下的历史规律或模式,也就是说达到描述性分析。而为了让读者相信数据分析的能力,灌输一些“心灵鸡汤(或称洗脑)”,是少不了的,哪怕它是假的!
责编:胡雪妍
微信扫一扫实时了解行业动态
微信扫一扫分享本文给好友
著作权声明:kaiyun体育官方人口 文章著作权分属kaiyun体育官方人口 、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。
|
最新专题
|
|