社会化大数据的企业应用实践

互联网的社会化浪潮带给我们前所未有的生活上的便利，也产生了非常庞大的数据，大家可以看到这张图就是在QQ旁边是QQ-zone，这是中国互联网上60s之内发生了什么事，在60s内QQ-zone有13.9万张照片被上传，qq靠会员增值服务每60s就有8.5万元收入，进入QQ的口袋，淘宝每60s有14.8万独立访客，在淘宝上选择自己喜欢的商品，有资料显示在1998年全球网民平均每月使用的流量是1兆仅仅，2000年是10兆，2003年是100兆，08年是1G，到14年平均每月的使用流量达到10G，现在中国的网民居世界之首，每天产生的数据量也是位于世界前列，现在淘宝每天有超过数千笔的交易，每天产生的数据量超过了50个TB，1TB=1024G，这个数据量是非常庞大的，存储量达到了40PB，像百度目前的数据总量超过了1000个PB，存储网页的数量接近了1万亿，大概每天要处理60亿次的搜索请求，几十个PB的数据，这是互联网行业，互联网行业大家经常在使用，可能觉得产生了这么多数据已经习惯，但是在传统行业里面也会产生大量数据，比如说在城市交通方面，现在马路上有很多的监控摄像头，1个8兆比特每秒的摄像头，1小时能产生3.6GB的数据，一个城市如果安装了10几万或几十万个摄像头，那每月产生的数据量将会达到几十个PB，这些数据的存储、数据的处理，都会是一个巨大的问题，这也是互联网在社会化浪潮当中产生的数据带给我们挑战的地方，它带给我们方便，当然也带来了很多很多的挑战，比如说数据如何存储，这些数据如何处理？如何通过分析这些数据拿到你想要的东西来去帮助你做新的决策，帮助你改善现有的一些流程，现有的一些问题。

社会化浪潮为企业带来了哪些挑战和机遇？现在看一些社会化浪潮对媒体趋势的影响，社会化媒体随着社会化浪潮的发展在逐步的成为一种新兴的传播方式，像之前我们只能从电视、报纸等等这些传统的媒体来获取信息，随着社会化媒体的发展，任何人都可以是一个媒体，比如说在微博上、微信上你可以去传播自己想要的、想传播的一些内容，比如说你自己有更鲜明的观点或者说自己有对某些问题有独特的看法，想分享给大家，会有很方便的分享的渠道，随着社会化媒体的发展，传统媒体的整体成本在逐步上升，像报纸它的发行成本、人力成本、材质成本、发行渠道的成本在逐步上升，但是社会化媒体更多的依赖于网络，它的发行成本几乎是可以忽略不计的，另外就是信息的传播速度，随着互联网的发展，在逐渐加速，现在成为一种趋势是新媒体带动传统媒体传播信息，很多电视台、报社它们的新闻来源，以前是要派记者去新闻采访，如果发生了一件突发事件，要在发生之后、了解之后派记者到现场采访当时的情况，但是在互联网时代每个人都可以是媒体，如果是在身边发生的故事，它可以在当时用手机记录下来，拍张照片发到网上整个传播过程就结束了，之后可以看到这篇文章或图片在网上，通过各种媒体在继续传播，很多的传统媒体现在也在依赖于微博、微信来增加它的信息来源，所以就会发现新媒体在带动各种媒体来传播各种消息，相当于新媒体变成了一个引导。我们来看一下消费行为的变化，之前我看过一个资料就是专门做消费者行为学研究的一个报告，就提到目前社会化浪潮对消费行为带来的变化是，消费行为从AIDMA模式转化成AISAS模式，AIDMA是由美国广告学家刘易斯在1898年提出的一个理论，它是很成熟的一个理论模型之一，这个理论认为消费者接触到这个信息到最后达成购买有5个阶段，分别是A(Attention)引起注意；I (Interest)产生兴趣；D(Desire)培养欲望；M(Memory)形成记忆；A(Action)促成行动。后面的这个AISAS是由电通公司针对互联网与无线应用时代消费者生活形态的变化，而提出的一种全新的消费者行为分析模型。它同样分为5个阶段A(Attention )注意；I (Interest )兴趣；S ( Search )搜索；A (Action) 行动；S ( Share )分享，分享的消费者也会变成产品的营销者，所以看到微博上有各种各样的在去分享买东西的愉快体验也好或者是出于某种经济利益的目的去给某个产品打广告也好，看到在互联网上有很多的类似的这种行为。

说完了消费模式的变化现在看下社会竞争的变化，市场竞争在传统的情况下，传统的消费模式一般基于线下，是面对面的这种消费模式，这决定了市场竞争具有很强的地域性，比如说我是一个商家，我销售的产品是一个城市或者一个地区，甚至大一点说可以是某几个省或者华北地区，或者大半个地区都有我的产品，我想普及到更远的地方我的成品会随着范围的增加而大量增加，随着电子商务的兴起，移动互联网的逐步普及市场竞争的地域性在逐步的消失，用户可以随时购买异地的产品，甚至直接购买国外的产品，像前一段时间亚马逊就推出海外产品的直购，比如说我在北京可以买到美国的商品，过两天它就递过来了，对于企业来说，就由极强地域性市场的竞争转变成全球化的市场竞争，在美国我可能竞争对手就是北京的某个企业，现在就变成可能是在美国某个城市的某个企业，相当于其他所有同行业同领域都有可能变成我的潜在竞争对手，所以这就企业来说在市场竞争方面是一个非常大的挑战。

现在来看一下社会化浪潮当中，刚才提到了哪天产生有大量数据，社会化浪潮当中积累的这些数据给企业带来了哪些挑战呢？也就是说我们说的大数据给企业带来了哪些挑战？我总结了一下大概有六点，首先业务部门没有清晰的大数据需求，很多业务部门不了解大数据，也不了解大数据的应用场景和价值，所以它很难提出大数据准确的需求，不知道拿这些东西要做什么，由于业务部门需求不清晰，大数据的部门它清楚这些东西产生什么价值，但是对于很多企业来说，即便有了大数据部门，也是一个非营利部门，相当于它是在支撑业务决策或者说支撑某些数据的事后分析，所以决策层非常担心投入比较多的成本导致我的投入没有相应的产出，所以导致很多企业在搭建大数据部门的时候是犹豫不决的。第二点是企业内部的数据孤岛非常严重，企业在启动大数据之前一定要清楚的认识到自己的数据是怎样分布的，各种数据现有的情况是怎么样？企业面对大数据最重要的一个挑战是碎片化，在很多企业中，尤其是大企业数据常常是散落在部门当中的，而且这些数据存储在不同的仓库里，不同的数据它的存储器有可能也不一样，就导致企业的内部自己的数据都没有打通，如果不打通这些数据，那么数据的价值就非常难以挖掘，相当于各种数据都是独立的、各自分散的，像有些事需要分析的时候需要多维度的数据整体的一个参考，如果只是单个维度，可能这些数据的意义就不是特别明显了。第三点事数据的可用性低，数据质量差，很多大中型企业每时每刻都在产生大量的数据，但是很多企业在大数据的预处理阶段很不重视，导致处理的很不规范，大数据的预处理阶段需要把初始数据转化成方便处理的类型，就相当于非结构化数据产生了之后怎么变成结构化数据，也就是说，易于分析、易于使用的，这其实也是一个非常大的挑战，要对这些数据做清洗，去除不好的数据，提取有效数据。第四点是数据相关管理技术和架构，技术架构包含几个方面，第一个是传统的数据库部署，很难处理1个TB以上的数据，比如说传统的数据库在处理几百个G的时候，可能就已经接近它的处理极限了，小量数据非常快、准确，但达到它的处理瓶颈的时候，大部分情况下，单台节点处理数据库是非常有限的，也就是说超过一定量的时候超过自身的能力，一是受到自身的软件技术的限制；二是受到硬件处理能力的限制，所以达到一定数量级的时候会比较缓慢。第二点是很多企业采用传统的数据库技术，在设计的时候没有考虑到数据的多样性，尤其是对结构化、非结构化数据的兼容；第三点是传统企业对数据处理的时间要求的不高，不像很多网站即时响应，要给用户非常好的体验，传统企业对分析数据的实时性并不是那么强，往往1天甚至2天才能统计出来，因为数据量很多，处理能力不强，导致传统的数据库要花很久的时间。大数据处理现在是分2类，1类是P处理，应对这种传统的大量数据的定时处理，比如说每天2点运行，6点能看到结果，但是有很多数据是实时的，比如说分钟级或秒级的计算，传统数据库缺乏这种实时处理的能力；第四点事海量的数据需要很好的网络架构，有非常强大的数据中心来支持，光是机器好，运行的分布式软件足够好，数据中心网络不足以承载大量数据的交换，这也会对整个的处理效率造成很大影响。第五点是数据安全，很多个人信息被传播出去，如何保证这些信息的安全，成为大数据时代的难题。我昨天还是前天还在12306的网站上出现了大量用户的手机号、身份证号甚至连明文的密码都泄露出来了，当然12306网站辟谣说数据来源不是它们，是一些第三方购票的软件，它们记录了信息发布出来，但是这让我们也非常不安全，数据安全是关乎到我们每个人切身利益的一件事。最后一件事就是大数据人才的缺乏，大数据建设是一项非常复杂的工程，每个环节都需要专业的人员来完成，所以要造就一支有大数据经验、懂管理的团队。根据预测全球会新增400.和大数据相关的岗位，而且会有25%的组织，会设立首席数据官的职位，大数据的相关职位是复合型人才，需要对数学、统计、数据分析、处理、自然语言学习等多方面知识综合掌握，但这只是分析整个大数据平台的搭建、运行管理又需要计算机底层的知识，比如说系统管理的知识，大数据分布式计算框架的知识、整个运维的知识，怎样能保证大数据的平台能平稳的运行，保证24小时能提供服务，这都是企业在招聘人才的时候面对非常大的挑战。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友