商业智能之思考

一、商业智能概述

　　商业智能(Business Intelligence)对于身处IT和业务领先领域的技术和业务人员而言，用尽人皆可知来描述可能言过其实，但相信绝大多数人已对此有一定了解。事实上，很多人对商业智能已有深入研究，并取得了一定成果。但是，目前国内这一技术的成功应用案例并不多见，原因何在?

　　大约在7-8年前，中国就已引入了商业智能的概念。然而，对这一概念的理解至今很多人仍存在偏差，常常有人把商业智能和数据挖掘、数据仓库等混用，也有人将其和多维分析等混用。商业智能的真正含义是什么呢?这个问题的焦点在于Business和Intelligence的翻译和理解.这两个词都有多种解释，Business可译为商业、商务、生意、事务等;Intelligence可译为智力、理解力、聪明、情报等。两个单词组合后，译作商业智能或商务智能，甚至事务智能等都没有错。问题在于，如何定义商业智能或商务智能等。较为合理的定义应该是：如何通过技术手段对分散在不同系统的数据进行有效整合，从数据中获取有用的信息，再将这些信息转化为知识，用于商业决策。这个过程包括四个关键点：数据、信息、知识和决策。

　　围绕这些关键点，从技术的实现方法来看，直接相关的技术主要是数据仓库技术和数据挖掘技术。数据仓库包含两个含义：数据仓库数据库(Data Warehouse Database)和数据仓库环境(Data Warehouse Environment)。从业务的角度来讲，则主要是知识和商业决策过程。

　　从应用的角度看，商业智能主要是指企业、事业、和政府部门如何发掘、利用所拥有的数据中的信息，主旨是在决策过程之中应用这些信息，进而提升和改善自身的管理和服务水平等。需要注意的是，虽然事业单位和政府部门不属于商业范畴，但从技术、应用和管理的角度来看，商业智能可延伸得到非商业性机构。换言之，只是应用对象的不同，技术本身并没有差别。

　　二、商业智能技术

　　商业智能的技术主要包括数据仓库和数据挖掘。数据仓库主要是对分散在不同系统的数据进行收集、整理和分析，用于克服常常出现的信息孤岛问题，使机构对客户和自己内部有一个完整、准确的理解，更好地服务于客户，有效的管理内部。它是管理信息的基础工程，是企业和政府走向智能管理的关键和基石。数据挖掘主要是从大量的数据中提取潜在、有用的信息，并把信息用于决策之中的过程。

　　20世纪80年代，数据仓库起源于美国，早期成功率并不高，不到50%。经过了一段艰苦历程，从90年代中期开始已经很成熟，项目的成功率已经达到95%以上。而在美国这样的技术和应用领先的国家，数据挖掘得到大力推广也是1996年之后的事情了，但是，数据挖掘的实用性很快得到业内的认可，并迅速地推广到全球的许多地方，尤其是欧美国家。

　　数据挖掘引入中国最早是在20世纪末，起步较晚。但是这一技术很快得到银行和电信的认可。

　　从2000年开始，国内的一些企业已经开始建立数据仓库，确切地讲应该是开始探索和使用一些多维分析工具和前端展现工具。2003年，数据仓库在银行、电信等行业已经开始推广。期间数据挖掘在国内也已经开始推行，但这些都还处于启蒙时期。

　　数据仓库和数据挖掘的理念以及它们可能为企业、事业和政府所带来的经济效益和管理水平的提高已经得到普遍的认可。但是，这些技术距离有效推广和应用尚有一段路要走。从对于技术本身的把握以及应用的理解方面来看，目前我国和发达国家相比还有较大的差距。只是从硬件和通用软件的角度来看，似乎差别已不明显。事实上，我们很多企业的硬件产品先进程度已经远远超过国外的同行。造成这种现象有多种原因，其中包括但不仅限于大厂商的宣传、鼓动;企业的理念和方法的问题;企业的决策机制;目前国内厂商和企业的应用实施能力还不太高;企业的应用和理解能力有限等等。众多的原因导致了我们许多企业花钱不少，但效益不高。

　　三、计算机软硬件水平不等于商业智能应用水平

　　我国目前在商业智能应用方面整体落后于西方发达国家，但是我们很多企业用于实施数据仓库和数据挖掘的软件和硬件却并不落后。软件方面，我们许多企业购买的版本几乎和国外厂商的最新产品同步。我们许多企业所购买的硬件往往优于国外同行。这中间有多种理由，但是主要还是理念问题。

　　很多企业追求的就是国内先进和国际一流，以为我们购买的机器和通用软件达到一流，我们的企业就是一流。很多银行和电信企业的计算机通用软件已经达到一流，但是绝大部分企业和西方先进企业的差距依然很大。片面地追求工具技术的领先和银行、电信的业务以及业务管理水平的提高没有太大的关系。

　　计算机的并行处理速度和能力很重要，但它决不等于一家银行或电信公司的商业智能应用水平。机器的大小和节点的多少与企业的经济效益未必成正比，这些更不能代表一个企业的先进性。许多企业在做数据仓库的概念验证时主要是看机器的处理速度、并行处理能力等。

　　这些性能指标对于IT厂商很重要，对于计算机公司很重要，但对于银行和电信来讲是重要的，但是没有厂商宣传的那么重要。对于银行和电信来讲，重要的是应用，是用新系统和技术解决企业问题。

　　银行和电信都是服务提供商或产品提供商。重要的是搞好企业的运营和管理，开发出客户喜欢的产品，提供客户所需要的服务，做好风险管理和企业内部管理等等。只有用好商业智能技术解决企业的基本问题，才能提升企业的工作效率、盈利能力和抗风险能力等。技术的有效应用远比技术本身重要，尤其是对商业智能技术来讲。

　　四、商业智能实施的难点

　　实施商业智能项目有许多难点，主要是几个方面。

　　第一，实施前的规划工作。实施前的规划工作非常重要，也有相当的难度。数据仓库项目是一个大而且实施周期较长的项目，所以规划工作显得非常重要。规划工作应该体现实用性和超前性。系统首先要解决实际问题才会有生命力，才能够生存和成长，才能够得到领导和业务部门的支持。同时，数据仓库是一项长期和大型工程，超前性也非常重要。具有超前性系统才会长久，才会更容易体现技术的先进性和业务的预见性。其他属性诸如安全性、可扩展性、灾难恢复等也很重要。对于数据仓库这样的大型项目，统一规划、分步实施应该是一条需要认真贯彻的原则。

　　第二，在实施过程中，一定要注意并努力“沿途下蛋”。这一条原则是上海证券交易所内部的数据仓库开发团队和决策领导在实施过程中总结出的一条成功策略。只有这样才能够比较容易地在长时间的实施过程中得到领导和业务人员的认可和支持。对于任何一个大型项目，如果长期投入但在过程中看不到任何中间成果，这样的项目就可能引起领导的怀疑。在过程中不断出成果是解决这一问题的有效方法。

　　第三，需求的提出和分析是实施数据仓库的首要难题。要做好数据仓库，需求是关键。没有一套好的需求，建设一个好的系统只能是一种梦想。但是，需求的提出难度非常大，必须要有一套好的方法和流程。在一套有效的方法的指导下，同时遵照一个好的流程，就容易得到领导支持，得到业务人员的有效参与和技术人员的有力配合，这样就有可能提出一套既实用又具有超前性的需求。但是，这些只是必要条件，并非充分条件。否则，就会陷入目前企业在实施过程中的许多实际困境：技术人员会抱怨业务人员提不出需求，业务人员觉得厂商和技术人员做出来的系统没有实施前宣传的那么好。没有正确的方法指导，业务人员提不出需求很正常。这就犹如要一个从来没有见过也不了解小轿车的人凭空提出一套豪华轿车的功能、设计和性能需求一样。在提需求的过程中，经验、方法和操作流程是关键。

　　第四，实施的另外一个难点是元数据的管理。元数据管理目前是所有数据仓库项目实施过程总最没有成熟方法和规范的部分之一。元数据的管理难在工具，难在方法。数据仓库涉及的数据源很多，结构自然复杂。要建立一套规范、自动、有效的元数据系统实属不宜。如果在加上对于元数据的重视不够，出问题的几率就相当大了。

　　第五，数据仓库建设管理工作量大、面广、任务重。数据仓库是一套管理信息系统，它不同于大家熟悉的业务系统，在建设过程方面有许多不同点。业务系统往往只是按照需求实现即可，大部分过程是要写“死”的。而数据仓库对于许多内容的实现要体现的是一个“活”字。这样对于数据仓库建设的管理者的要求就较高。数据仓库的管理者首先必须要有很好的沟通和交流技巧，主要是工程本身牵扯的部门很多，远非一般业务系统可比;其次，管理者要以良好的学习态度来学习技术和业务知识，实施经验和其他管理能力必不可少。

　　在数据仓库这样一个庞大系统的实施过程中，引入监理机制也非常必要。监理公司或监理者必须要有丰富的数据仓库建设经验，了解数据仓库建设的全过程，在数据仓库建设的各个环节都要有足够的技术和业务专家。监理者应该是建设质量的管理者、建设的监督者和指导者。在建设的过程中，要能够对实施厂商提出建设性的意见，要有团队和协作精神。监理公司的主要职责是保证项目按时、保质完成开发和推广。基本理念是提供有效的监理服务和咨询服务。咨询在先、监理为重是数据仓库监理工作中一个很好的理念。它要求监理厂商除了提供常规的监理工作之外，还要提供实施过程中的咨询服务。监理公司需要秉承中立原则：公正和公平地对待项目开发商，协调企业和开发商的关系;保护企业对数据仓库项目投资、控制质量以及确保项目进度。对于像数据仓库这样的大型系统工程，引入监理机制很有必要。

　　第六，ETCL(抽取、转换、清洗和加载)过程。ETCL过程的技术难度不大，但是技巧性很高。时间和速度在数据仓库的ETCL过程非常重要。如果技巧和方法不当，时间会为这一环节的重要敌人。每天的后续加载的压力很大，对于银行这样的企业，可以用于加载的时间非常短。如何在较短的时间内完成大量数据的加载将会成为主要挑战。

　　除了这些以外，模型的设计、应用的设计、推广、培训等等也都非常重要。

　　对于数据挖掘来讲，实施的难点没有数据仓库那么多。但是，关键在于对于数据发掘算法、方法和应用的理解和掌握。对于我们碰到的每个问题常常有几种不同的算法可以解决。每种算法也都可以用来解决不同的问题。对于每种算法和应用的理解至关重要，需要非常熟悉。数据挖掘的另外一个难点就是对于数据挖掘过程的理解。在数据挖掘课题中，理解算法很重要，工具的使用也很重要，但是对于数据挖掘过程的掌握更为重要。在数据挖掘的过程中，大部分的时间都花在对于问题的理解及数据的收集、处理和整理过程中。关键是思考和寻求解决客户问题的方法和思路。如果这些工作做的好，一般来讲，好的结果是水到渠成的事情。前期工作不到家，结果好也只是运气好，不说明什么。在这种情况下，即使结果好而没有合理的业务知识解释，恐怕企业也未必敢用。数据挖掘的灵魂是一个“活”字，数据挖掘的关键是解决问题的过程。

　　五、小结

　　商业智能技术在飞速发展，其应用在国内已经广泛开展。商业智能应用的潜在价值也被越来越多的人所认识。但是，在目前商业智能应用发展的形势下，仍然存在很多问题和潜在的风险。如果对于出现的问题不及时加以讨论和解决，商业智能技术的价值和浅能就未必能够得到充分发挥，进而可能被怀疑。许多企业在从不了解和认可再到怀疑的过程可能会付出巨大的代价。这种代价不但包括人力、物力的损失，更包括时间、信心和理念的丧失。

　　相信，随着市场的成熟，流程的规范，从业人员的技术、业务水平的提高，商业智能技术的推广应用一定能够提升企业的管理水平，进而给企业带来巨大的经济效益和管理水平的明显提升。