大数据：人类历史向前的车轮

有人说大数据是大“忽悠”，有人说大数据没商业模式，凡此种种都反映出一个问题——大数据落地难。但就此否定大数据，无疑又走到了一个极端。可以把大数据理解为最初的蒸汽机，初期不是也有人驾马车一教高低吗？大数据也是如此！

传统数据挖掘和应用

从业务开始应用IT之日起，人们就没有停止过对数据的挖掘和利用。人们总是希望透过一定的技术方法，透视数据背后所隐藏的秘密。

在传统数据挖掘应用中，OLTP(On-Line Transaction Processing，联机事务处理系统)和OLAP(On-Line Analytical Processing，联机分析处理)是用户最为熟悉的技术应用。

OLTP也称为面向交易的处理系统，它可以即时地处理输入的数据，及时地回答，因此也称为实时系统(Real time System)， OLTP通常是由数据库引擎负责完成的，其所处理的数据也被称为结构化数据。

OLAP主要用于多个角度、维度分析数据，多用于数据挖掘，为企业决策者提供分析依据。OLAP以数据仓库技术为基础，无论是报表、统计，还是客户数据分群、客户价值分析，以及类似逃税、漏税等数据挖据应用，辅助决策和人工智能的技术应用，历来备受用户重视。

OLAP数据主要来源于数据仓库、数据集市以及ODS(Operational Data Store，操作型 数据存储)。在建模过程中，鉴于数据规格的差异，其数据很难被直接使用，需要经过抽取、清洗、转换和装载的复杂处理过程，所谓ETL(Extraction-Transformation-Loading)。此外，还要通过EAI(Enterprise Application Integration，企业应用集成)将进程、 软件、标准和硬件联合起来，以追求对数据价值的分析和挖掘。

“啤酒和尿布”的故事历来被视为传统数据挖据应用的典范。但对于用户来说，无论是Informatica的Power Center、 IBM的DataStage、Teradata的Automation，还是Oracle的ODM，这些专属ETL工具，无论对用户专业技能水准的要求，还是对使用成本都有非常高的要求，因此难以大范围推广应用。其应用也主要集中在在价值密度高的数据，所谓结构化数据。