BI与搜索技术融合趋势与技术

有价值的信息分散在企业的各个角落，这是信息管理领域早已公认的事实，同时也是多年来未被攻克的一个难题。在BI(商业智能)的数据挖掘技术不断演进的同时，隐藏于一个简单Web页面之后的企业搜索技术的介入，有望为企业用户提供一条快速、简单且更加理想化的信息访问通道。

在BI世界里，敏捷、准确地制作报表并分析是恒定不变的法则，但是在数据的实时展现和信息获取的易用性方面，BI与用户的实际期望值之间一直存在距离。虽然各大BI厂商都力图把自己的产品打造得更贴近客户需求、界面更友好，但BI报表定制对绝大多数的企业员工而言，依然是一个神秘的领域。企业业务信息的掘取似乎是那些统计学大腕才能胜任的工作。最近几年来，BI厂商一直在寻找让BI应用更加平民化或大众化的方法，但直到BI与企业搜索技术交叠之后，才使用户看到了BI应用下行的最绚丽曙光。

数据随时展现

作为传统BI的用户，一家名为Blue Cross Blue Shield的美国保险公司以前只能在一个固定的周期内生成BI报表，这些报表按模板索引，每两周或在每个月分发给固定邮件列表的用户。这种刚性的数据管理所导致的问题是，如何处理那些不在邮件列表中的用户请求?这些用户通过何种途径才能访问相关的报表?

BI与搜索的结合帮助这家公司找到了向更多员工交付BI报表的有效方法。在部署了IBM Web-Sphere Content Discovery之后，通过BI系统与企业级搜索应用的集成，公司成功扩大了BI数据的访问范围。与BI报表定时推送相比，新系统支持员工实时通过一个门户界面检索存储在不同报表中的BI信息，而这种检索通过简单的文本搜索即可实现，不需要编写专业的查询语句。

早期用户已经体验到这种技术融合对业务数据分析能力的提升。一位政府客户就表示，BI与搜索的融合对分布式组织具有极强的吸引力。他指出，“BI+搜索”的解决方案能够让身处不同地域的用户访问不同的独立数据库成为可能，并且平滑升级到BI和文本数据的高级检索。同时用户可以享受到超越以往的数据下钻体验，比如总公司点击地图中的某个省，就可以下钻到省公司的数据库进行分析并定制报表，这种数据展现形式远远超越了传统BI的数据交付。

数据“无来源”获取

“有了搜索技术，用户不必知道信息来自何方”，这是搜索为BI领域带来的革命性改变。具体来说，就是用户在进行BI数据访问时，并不需要了解在企业搜索引擎背后数据收集、数据过滤、报表定位以及报表重建等步骤是怎样运作的。他们所要做的只是熟悉企业搜索引擎的使用方法，了解它和基于Web的消费类搜索引擎的细微差异，以及如何使用它的高级搜索选项。

这种“无来源”的数据获取方式使结构化与非结构化数据向“统一信息搜索”的目标大大前进了一步。“作为企业重要的决策支持工具，BI与企业搜索技术的结合符合技术发展的趋势，这样企业不仅能够获得经营汇总信息，发现问题后还可以立即下钻查看合同文档、Email记录、相关法律法规等。” SAS中国区解决方案经理张天峰说。

回顾BI的技术发展史，传统BI 主要提供结构化信息的搜索。但对于非结构化数据的搜索，一些BI厂商提供的文本挖掘技术覆盖能力有限。在技术的区分方面，结构化数据搜索主要包含数值计算和分析技术，非结构化数据主要围绕关键词、主题词或元数据的搜索，其核心技术仍是结构化查询。企业搜索技术将帮助企业解决非结构化数据检索问题。其关键作用是扩大数据查询和分析的范围，建立结构化与非结构化查询结果的关联关系，有效弥补BI数据挖掘和文本挖掘技术的不足。

“无来源”数据获取的理想化图景是，企业搜索引擎将成为用户访问企业所有信息的统一
入口，BI与搜索的集成系统能够屏蔽结构化数据与非结构化数据的差异，无论数据存储在什么位置，系统都能够按照用户在搜索引擎中输入的查询请求交付所需的数据，用户并不需要知道这些数据存储在企业IT系统的什么位置。而在现阶段，企业搜索引擎主要关注对HTML、PPT、PDF等企业文档的检索，对于这些文档导向的数据资源，一些搜索引擎可以做出关于语义或数据的智能化判断。

黏合剂的制造者

前面提到了BI与搜索融合的两大好处，即让BI数据更易于访问，以及整合结构化与非结构化数据。但就目前BI或搜索厂商的实现能力看，BI与搜索的融合仍是一个需要不断充实和完善的理想框架，其中的技术难点我们将在后面展开讨论。但令人振奋的是，在这一技术交互地带，已经聚集了现今最主流的搜索和BI厂商，厂商之间的频繁合作大大增加了两种技术融合的黏性。

Google OneBox for Enterprise(简称Google OneBox)的推出曾被一些分析家评价为“划时代事件”。这款于2006年4月面世的产品使Google的专用搜索设备除文本之外还可以搜索保存在数据库和数据仓库中的结构化数据。Google OneBox发布后，众多BI厂商旋即展开了针对该产品的集成计划。目前，已经建立其BI产品与Google OneBox之间链接的厂商包括：Cognos、InformationBuliders、甲骨文、SAS、海波龙(Hyperion)和Business Objects。Business Objects在2006年5月推出了基于Google OneBox的企业级搜索解决方案，并计划在2007年上半年推出一套对其BI数据进行文本搜索的工具。海波龙在2007年2月推出了HyperionSystem 9 Smart Search for Google，该产品支持基于Hyperion System 9知识库的报表、仪表盘、财务报表的定制，同时能够实现对企业中多种非结构化数据(例如邮件、办公文档、文本文档、PDF文档)的搜索。

在Google OneBox表现出强劲凝聚力的同时，IBM和微软也相继发布了与此相关的新的产品和特性，同时厂商之间围绕BI与搜索的合作还迅速激发了联动效应。2006年12月，IBM和Yahoo共同发布名为Yahoo版IBM OmniFind的免费企业搜索应用，Cognos宣布其Cognos 8 Go!搜索引擎与OmniFind进行链接。Fast Search and Transfer公司将其企业搜索平台与Cognos 8 BI解决方案结合，实现向员工直接交付企业内容。2007年1月，Information Buliders推出WebFocusMagnify，这是一种索引结构化数据并在搜索结果中提供BI报告的搜索导航工具。另外，X1Technologies的X1企业搜索平台支持对电子邮件、桌面文档等非结构化信息的检索，并且能够与后端搜索建立联邦关系。

融合的高难度

BI与搜索技术融合的构想一经提出，就被寄予了厚望。人们希望这种融合能够解决那些长期悬而未决的问题。以Google OneBox为代表的企业级搜索产品的成熟更是让BI行业发生了很多改变，但我们也必须正视这一领域所面临的困难。

传统BI所实现的结构化数据搜索无法向用户提供上下文关联信息。比如，用户可以打开一
个库存数据库，但是却无法获得数据库之外像货品照片、库存位置地图等关联信息。有专家表示，这样的问题最终会通过元数据搜索的介入而得到解决，就像在数据库领域XML所获得的成功一样。但是在目前，海量的结构化数据与非结构化数据的结合仍是一个难题。
非结构化数据搜索的挑战在于，如何驾驭如此庞大、高容量的文档信息。以一个拥25000名员工的企业为例，每个员工每个工作日处理70封邮件，那么该企业每年出于法规遵从目的需要存储的邮件数量就达5亿封，还要保证这些邮件是可搜索的。加上其他需要存储和搜索的HTML、Word、EXCEL、PPT文档，搜索指令仿佛“大海捞针”。

作为一位资深BI人，神州数码移动事业部的刘庆认为，BI与搜索的融合不是单纯易用性的改进，需要解决的关键问题包括实施成本、技术标准化等。他表示，在2006年曾经有国内的企业有意尝试企业文档的搜索，但真正把搜索系统与BI系统结合起来的用户很少。“两年之后，我们可能会看到比较成功的案例，而BI与搜索的深度融合可能要在5年以后。”刘庆说。

虽然现有的解决方案已经能够支持企业对BI与搜索系统的同步部署，但刘庆强调，分步实
施仍是最佳选择。“实施者需要协调BI和搜索的部署特性，BI项目强调以客户应用为中心，而搜索强调技术标准化，在技术融合过程中需要加以调和。同时还应该考虑好系统集成之后推什么应用，是报表还是数据钻取?对客户而言，现实的做法是先把BI系统做好，这样搜索才有价值。”他说。真正的融合应该是无缝的，BI与搜索在现阶段的融合表现显然距离这一标准还有很大距离。

其中，结构化和非结构化数据搜索怎样自然结合是症结之一。SAS的张天峰在BI行业拥有近15年的从业经历。他表示，结构化和非结构化信息的搜索技术是截然不同的，非结构化搜索的技术也有进一步的细分。非结构化数据搜索应该被更加准确地定义为文件检索技术，包含检与索两个方面。检就是文档归类，在这一领域，SAS等厂商所提供的文本挖掘(Text Mining)技术正趋向于成熟;索就是搜索，目前最成熟的是以Google为代表的蜘蛛(Spider)技术。

“企业实施‘BI+搜索’项目的难点体现在，如何把两种不同的技术自然地‘缝合’起来。开发人员必须熟练掌握这两种技术，目前，同时掌握两种搜索技术的人才并不多。同时，要完整呈现不同层面、种类的关联信息，并做出科学的决策，这需要大量的定制开发工作，在目前的情况下实施难度还很大。这些都决定了BI与搜索结合尚不自然的现状。”张天峰说。

门户当道

尽管推进困难重重，但BI与搜索的融合已成一个明确的技术方向。在BI领域，搜索技术炙手可热。Gartner的一位分析师说：“从没见过BI厂商如此急切地寻找搜索技术，今天不会向你谈论其BI软件与企业搜索产品集成的BI厂商是太少见了。”另一方面，搜索厂商也在积极拓宽企业级搜索引擎的覆盖范围，企业BI系统中高质量的结构化数据正好弥补了其搜索的数据源。因此，无论是BI厂商还是搜索厂商，都在寻找合适的落脚点，企业门户正是这样一个能够兼顾双方利益、兼容不同技术框架的战略选择。

“应该说，目前市场上我们所见到的‘BI+搜索’的产品基本上都是围绕门户展开的”张天峰说。文章前面提到的产品大都集中在门户和内容管理方面，在门户平台之上，结构化与非结构化数据搜索、乃至更高层次的信息检索技术形成了多种集成化的解决方案。

在结构化数据的语义关联方面，一些BI软件已经通过模板的使用和数据关联定义等方法，
部分地解决了在结构化数据查询中提供上下文关联信息的问题。以此为基础，一些企业级搜索引擎，比如Google、X1，可以将检索出的结构化数据交付BI系统，然后将其结果与自身的搜索索引项建立联邦性的关联。与此同时，BI厂商也在不断强化数据的挖掘和定向交付能力。比如Information Builders支持从流程交易环节获取数据，并且使之对Google企业搜索引擎可用。

而在目前，面向结构化和非结构化数据查询结果的联邦技术有望成为BI与搜索技术融合的一个关键部件。

安全与算法问题

在技术演进带来搜索容量提升、BI软件覆盖范围扩大等可喜成果的同时，信息安全问题更
加无法逃避。当企业的IT部门在企业范围内部署了搜索工具，并使之与BI决策分析系统连接起来，数据泄漏的风险随之陡然增大。BI分析与搜索功能集成后，企业员工将获得更多的数据查询途径，但跨系统数据的访问控制问题也随即出现。人们发现，为不同部门、级别的员工在这个集成化的系统中定义权限并不容易。

其实，在BI领域，访问控制机制是非常成熟的。目前最需要解决的问题是，如何保证BI与搜索集成之后的系统能够交付员工需要的所有数据。同时准确地屏蔽那些机密的、不在权限允许的范围之内的数据。有安全专家认为，在理想的技术框架下，单点登录(SSO)技术可以解决向员工交付所需完整数据的问题，LDAP访问目录服务器可以解决访问权限控制的问题。但在实际部署时，数据泄漏的问题仍然会在执行环节出现，系统中的很多数据所接受的访问控制并没有被企业范围的访问机制所严格限制。

一些“BI+搜索”解决方案简单地在BI包后面或其他的后端应用中添加用户信任机制，并且依赖这些应用内置的访问机制去限制反馈结果。这种做法显然不够全面，在实际部署时，企业安全策略的调整，在BI系统中搜索引擎添加位置的选择，都是访问控制环节需要关注的细节问题。

在参与技术融合的问题上，每个厂商都是自己的切入角度，而这往往是基于其专有技术的。这在一定程度上导致了目前这个领域所展开的技术研发并不是非常秩序化的，正如前面提到的技术标准化问题。今天，厂商之间已经围绕搜索运算法则展开了较量。

Google一直努力在企业级搜索领域确立如Web搜索世界中的“权威”地位，并表示不会公开自己的算法。而IBM则宣称新推出的基于企业搜索引擎内部相关权重因子的新算法。有关的因子包括客户点击特性、格式、文档进入位置、元数据等。很多产品还提供增强特定文档或URL相关性的方法，以便他们在既定搜索中占据首位。针对企业搜索的特性，一些软件还允许企业针对某些特定术语进行个性化定制，以方便企业实现对关键业务词汇的定向搜索。“在这个领域，你会遇到各式各样的问题，它们与Web搜索有很大不同。比较幸运的是，在这里你至少不会遭遇到有些企业利用卑鄙的手段欺骗你的算法的情况。"Google企业级产品部门的一位负责人风趣地说。

特别提示：

“用Google式的搜索引擎覆盖整个企业环境”听起来容易，但事实却并非如此。在实
施“BI+搜索”项目时，你必须了解以下事实：

■ 厂商演示的魔术般的功能实际上需要付出艰苦的幕后工作，比如将数据查询映射到企业的数据集合。
■ 企业需要帮助员工在企业内部找到重要报告的搜索算法。
■ 不同的部门(例如，财务或销售)具有不同的搜索要求。
■ 务必进行访问控制，使员工不能非法访问企业的敏感信息。
■ 企业可能已经拥有了各种嵌入在不同应用和门户中的搜索引擎。
■ 购买者必须在不同的技术中做出选择：从Google的搜索专用设备到分析非结构化数据的文本挖掘工具。
■ 目有市场上有很多厂商，这些厂商正在寻求利用科研领域的高级搜索技术解决企业问题的方法。

编看编想：BI为什么爱搜索?

咫尺，亦是天涯。BI与搜索的融合之路并不像想象中那样接近，也不会这般遥远。也许在今天看来，这个话题太前瞻了。但是在近期内，这又是BI领域无法回避的焦点。有人认为，这是BI厂商希望搭上最近流行的搜索应用，进行新一轮的炒作。但当我们细细品评技术融合过程中的艰难与收获，我们发现，这种融合是完全符合IT应用逻辑和顺应潮流的。在驾驭结构化和非结构化数据的问题上，数据库通过技术获得了成功，而BI为什么不可以?何况这正好与企业搜索技术的前进路线不谋而合。

现阶段BI与搜索的融合过程的确会遇到很多障碍，双方都要不断磨砺，才能达到和谐互融。我们不得不正视的是，虽然BI与搜索的交集越来越大，但这个领域要花费一定的时间才能确立规则。BI面向结构化数据的数据分析，以及企业搜索针对非结构化数据的广义文本挖掘，已经汇集到以企业门户为载体的内容管理平台。但在统一的界面背后，不同类型数据的挖掘、分析、展现、控制的过渡和衔接仍显得突兀。比如Google OneBox只提供一个公共接口，在实现数据展现终端合并的同时，数据抽取和分析的过程仍是分离的。因此，在肯定融合趋势的前提之下，如何实现数据交付全过程的完整结合，应是当前BI与搜索融合技术研发的第一要务。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友