大数据时代下的数据分析

当前，随着企业规模的不断成长，有效存储和管理长期累积的且仍在持续快速增长的海量数据，从中发掘商业价值，意味着巨大的市场机遇;同时，也带来了严峻的挑战：大数据将挑战企业在存储架构及数据中心基础设施等，也会引发数据仓库、数据挖掘、商业智能、云计算等应用的连锁反应。如何选择有效的组织管理数据，提供商业解决方案，已经不是单纯的IT技术问题，而是与企业未来发展前途攸关的关键性问题。

面对大数据存在的机遇与挑战，以“海量数据 深度分析 智慧商业”为主题的第二届大数据世界论坛上来自不同行业的专家就大数据的发展与机遇做了详细的介绍。

赛仕软件研究开发(北京)有限公司总经理刘政从大数据时代下的数据分析做了主题发言。

刘政指出，大数据来了以后，方方面面各行各业其实都牵扯到进去了。其实我们在互联网上，在社交媒体、微博上，都可以看到各种各样的题目，你说你所关注的东西不在这个网上是不可能的。美国政府在3月29日对外也发布了一个报告，就是关于关注大数据方面的东西，这是美国五个部联合发布的信息。美国在过去几年曾经关注过信息高速公路，互联网、物联网，包括这次的大数据。我们可以看到，美国政府对这方面是非常重视的，在这5部中就包括美国国防部。

大数据带来的变化

1、实现在已经涉及到各个领域，它把数据与资本、人力一起作为生产的重要因素。我们原来学习社会经济学的时候，我们知道资本、人力、生产资料是主要因素，现在把数据也加进来了。

2、数据会创造价值。我们给大数据定义的时候都讲到了3个V，其中很关键的是大数据的价值，如果没有价值的话，我们就没有必要在这里开这个会议了。

3、数据的使用成为组织竞争和成长的关键因素。你能够充分地利用这些数据，就能给你的企业带来竞争力。

4、数据的市翁会加强新一轮的产品率增长和消费者剩余。

5、数据对不同的领域，影响不一样。

6、大数据相关岗位人才的短缺。欧美也在中国市场寻找这方面的人才，但是他们不知道中国这方面更匮乏。将来一个国家的竞争力很大程度上决定于分析人员，将来的决策都是通过数据来说话，通过数据分析得到结果来做决策。所以，分析人员的水平对于国家的竞争力、对于一个企业的竞争力来说是非常重要的。

7、涉及到隐私、安全、智力财产保护，责任等相应政策的改变。这样，我们的一些管理方面的政策会相应地发生一些变化。

大数据时代的机会

从我们可以看到，带来的都是上千亿美元或者英镑的价值，确实有很大的利益。你如何在这么大的一块市场中占得你的利益?那你就要对大数据做分析。

每个人谈到大数据都会谈到3V，我们又加了一个V，就是价值。

企业如何应对大数据时代

大数据要求存储设备和存储方式的改变。在最开始的时候我们把数据存储起来主要是为了查询，比如一个人在银行开了账户，这个人过一段时间还会回来，通过使用微软的SQL Server，使用Oracle的数据库查询，我们有上千万、上亿数据的时候，群体的趋势是什么样的?我们通过分析才能得到。在银行里也有二八定律，80%的存款都由20%的人存着，这些人是谁?身份是什么样的?这些都需要通过分析来做。

所以，在大数据时代，数据分析的手段是关键，只有通过数据分析才会给你带来价值。但是传统的数据分析能力，无法处理这么大量的数据，我们平常分析上千万的数据量或者上亿数据量的时候，都会花费几十个小时(好几天)的时间才能得到结果。当你的数据达到十亿的时候，你的软件就根本运行不下去，有的时候会好几十天，这个速度人们是无法接受的。所以，在新的时代，我们需要高性能的分析软件。

1，由于分析手段的限制，你不能充分利用所有的数据。

学统计的人知道，如果我的分析能力达不到的话，取样的时候就取小样，取多了运算不下来。你的样品量越大的话，里面含有的信息就会越完整。所以，我们希望能够对所有的样品量进行分析，如果你的分析手段达不到，你分析所使用的数据就会受到限制。

2，受限于与于能力而无法获取复杂问题的答案。

3，因为时限要求而不得不采用某项简单的建模技术。

4，对模型净度进行妥协，因为没有足够的时间来执行多次迭代。

你要想得到最好的商业结果，你的分析工具、分析手段，必须要达到最高的精确度，要有前所未有的性能，就是它的运算能力、运算速度，再有就是能够达到最大的深度和广度。只有这样，才能够带来最好的商业结果。

我们为什么关注分析速度?

五十年代的时候，美国飞行员发现了一个方法，在跟敌人作战的时候通过哪些方法去指导决策和行为。他的定义就是OODA方法，如果你的决策比你的对手快，你就能够占得先机，争取主动，能够提前发射。在那个年代，导弹技术还不成熟，基本上都还是高射机枪在飞机上，而且雷达技术也不是特别地先进，当时还需要雷达和眼力来观察敌机。当你发现了敌机以后，你要有一个取向的过程，它不是在你的正前方，你要调整方向把你的枪口对准。然后你要做一个决策，比如说距离太远，我的枪还够不着它，等你飞行到射程内来才能决定开枪，是这样的一个过程。它说明了速度在你做事情的过程中是非常重要的。(见图)左边的做观察、调整、决策、行动的时候明显要比右面的快，横向的是时间，当左面已经行动的时候，右面连决策还没有做出来，左面要明显地比右面在速度上有一个优势。