针对大数据的深刻见解

大数据技术令人兴奋，它具有创新性且功能强大。大数据技术绝对可以将企业分析学带入新的高度…但还不是现在。

在全球1000家大公司以及无数家规模较小的公司中，商务智能(BI)的技能和最佳实践已经积累了多年，关系数据库管理系统(RDBMS)更长达数十年。这些范畴内的产品具有卓越的工具技术、可管理性以及容错性，提供了针对非开发者设计的接口，有精心创建的数据模型，经过多年来的细化，代表着大量的投入。

同时，Hadoop通常用在命令行中，由命令MapReduce代码控制，MapReduce代码必须采用Java编写，并且利用单一且易损坏的名称节点控制的文件系统(HDFS)。虽然一些基于浏览器的工具不断涌现，并且类似Hive的技术也为BI工具提供了连接层，但是我们仍然处于上世纪90年代的技术水平。在此领域，企业尚未准备充分，甚至还未接近准备充分。

深入见解

由于涉及到企业采集、分享和净化数据的策略和逻辑，因此将数据转化为信息在众多领域已经成为一项长期斗争。在解决这一难题上，大数据并不比商业智能更加出色。数据“做大”仅增加了所管理的数据覆盖面，但却必将使数据分析变得更加复杂。

大数据优点之一是具有较为灵活的方法，可在轮询/分析时，对其进行定义，从而消除了管理数据过程中的一些复杂性。但是管理非结构化的数据工具相对不成熟，并且企业内数据专家在概念上对此也尚未习惯。

大数据的长期潜力是很好的，因此应缩短其创新周期。但在短期内还不太可行。

小企业使用情况和策略

如果我是一个快餐企业家，在一个中等规模城市拥有5个麦当劳的特许经营权，如何利用Hadoop和MapReduce以获得更多的顾客访问量，对我而言还不明显。如果我拥有一家大型网络公司、一家大型金融服务公司、一家制造相关企业或者大型零售商，具有很大的点击量、市场和数据，那么大数据对我的吸引力更加直接。

我确实认为，小型企业现在就应该开启其大数据策略。如果他们总是在线(大部分)，他们甚至将拥有大量的点击数据，并且利用转载操作，就可以开始积累大量的店内视频(可以透漏购物习惯、店内布置的效果和产品亲和力)。数据可以帮助每个人，当不再丢弃数据，即成为大数据。

大数据的投资回报率

在互联网行业，大数据能够在吸引关注以及相应货币化方面盈利。在制造业，大数据能够在降低或者消除装配线停机时间获益(通过对设备故障的预测分析)。在金融服务领域，大数据能够促使服务更好、更有效，从而实现更有利的经营策略。媒体公司可以销售更多的广告版面。电子商务公司可卖出更多产品。

但是这些公司拥有一般企业经营公司不具备的一个共同点：投资回报率显而易见，足以使这些公司排除进入障碍进入大数据领域。企业经营团队是否具有足够智慧、预算和吸引力，引起必需的Hadoop专家、统计人员和数据专家，以实现有吸引力的投资回报率?很可能不会。在现成产品以及专业服务，大数据价值必须非常好、便宜而且足够成熟，才能吸引顾客购买。

更广泛的IT战略影响

大数据绝对有改变企业整体IT战略的潜力。这是因为大数据涉及到的内容更多。例如Hadoop使用直连存储和商用硬件，这对于我们常见的采用存储网络、昂贵的服务器和设备的企业部署具有极大破坏性。

Hadoop也可能使企业更强调Java技能，而减少SQL技能的关注。Hadoop所使用的集群方法也可能加速混合预置/云策略的推广使用：将数据推动到预置服务器上更加容易，但云计算的弹性在解决大型集群间歇性指令时更加有效。

技能短缺

数学、统计和数据建模技能是必需的，这是一个不足。很多大学现在才开始在分析和数据科学学科中设立课程，解决这一问题。正如我上文提到的，Java编程技能将非常有用，甚至将从事面向数据的工作，而非开发人员的职位。对于实力雄厚的企业来说，最重要以及最难找的是拥有在这些领域内专业知识和技能相结合的人才。这就是成功的公式，招聘到符合要求的人才可能非常困难。

哪些行业受益？

同样，互联网、媒体、金融机构、网上零售业以及制造行业将受益最大。供应链企业，零部件分销商当然也可加入到受益的队伍中来。医疗研究、管理或者支付/保险操作也可受益。这些行业的营销组织可以才从大数据中获得很大的利益。

我认为每个组织机构都有大数据，不仅是那些没有对其进行监控、没有保留数据的机构，还有那些没有评估通过改变运作模式为以大数据为驱动的成本和好处的企业和机构。

大数据和云

Hadoop商用硬件以及按需添加的集群方法对云计算模型具有巨大亲和力。在一般情况下，弹性是两者的特性之一。另一方面，上行带宽仍然是云中大数据的限制因素。与迁移大量数据并创建数据库相比，对新数据进行流失处理和维护云数据库(包含Hadoop分布式文件系统文件)要更容易一些。这又是终将改变并消除障碍的一个领域。

大数据挑战

数据质量是一个非常大的挑战。数据管理也是一个更广泛的问题。在这两种情况下，非结构数据的快速增长会加大数据集成的难度。同时，许多大数据技术尚未成熟也是潜在的缺陷。因此，许多公司仍处于大数据的研发阶段。大数据技术必须更加容易，项目管理技能更广泛，大数据方可真正成为主流。

CEO和CFO

我认为许多CEO以较高层次了解大数据，因此他们希望获得大数据。但是，他们的管理团队必须更加细致的理解大数据，并执行大数据建议。从这种风险上看，我不认为我们已经实现了大数据。大数据只有更见简单，管理人员充分熟悉，才能普遍。

在许多公司，商业智能购买决定权在于CFO团队。如果大数据成为BI的继任者，那么可认为CFO将保持这项权利。但是，大数据项目负责人可能来自IT和企业的各个部门。着手熟悉技术以及取的第一手资料可能成为项目成功的先决条件。金融业数据相对分散 –可能包含PB规模总分类账- 但是我还没有遇到。因此CFO们似乎不大可能作为大数据决策者。

五年预测

大数据可能是现在的炒作顶点(或许可能不是)，但是这绝对不是一时头脑发热。根据我的经验，数据相关非常少。无论商业应用开发以及相应的交易数据库需求，或者空间分析、各种预测分析和其它收集到的关于大数据的观点，我们讨论的是有用的重要技术。

通常情况下，新数据技术以创新和突破性技术开始，然后成为主流和主要技术，并最终成为日常技术，而不是失败和消失。我认为毫无疑问在将来大数据将成为企业的主流。未来可能是五年时间，取决于在这阶段内，大数据是否能够渡过其分散的小型行业阶段。

在某项技术被企业广泛应用前，该技术必须已非常成熟，甚至有点枯燥。大数据将会达到被企业广泛应用的程度，但它得先克服一些障碍。