IBM思索商务智能的未来发展

才天 20061028

IBM相信，商务智能(BI)的未来将包含非结构化的信息，实时的分析以及语义搜索功能，但是现在合作者的一些技术不必要去收购。本次的IBM需求信息会议拥有一个特定的BI主体会议，以及多个相关的议程，但是尽管华尔街推测IBM将购买一家BI厂家，例如Business Objects或者Cognos，现在还没有大的收购行动宣布。Karen Parrish是IBM公司的BI解决方案方面的副总裁，他在本次会议的采访中否认了上述的谣传。

Parrish说，“在传统BI领域，例如查询、报告以及OLAP等，我们可以采用合作者的产品和技术。我们的合作者比较的成熟，功能性也比较将，受到了市场的认可和接受。我们的很多用户也已经在那个领域进行了一定的投资。对于我们而言，如果引进一些新的东西，那只能够扰乱该市场，这既不会对IBM自身产生好处，也不会为我们的用户带来利益。”

这就是说，BI的未来是需要公开讨论和竞争的。Parrish说，现在一种新的BI潮流这在萌生和发展。它将结构化的信息于非结构化的信息结合在一起，利用文本分析将免费的文本转化为信息，从而可以存储在动态的数据库之中。它可以实时的分析数据，将BI转移到移动设备之上，并实现BI民主化。它还可以实行语义功能以及企业搜索，并且能够分析各种类型的内容，包括文本、语音，甚至图像。在这种未来派的BI领域之中，并不需要固定的平台系统以及真正的标准，Parrish说。她说，IBM正是在进行这种改变和创新。

在本次博览会中，IBM演示了多种客户BI应用软件，这将Parrish所提到的很多合成在了一起。在某个会议议程中，与会者聆听了未来派BI的一些潜在的商务案例，该议程是由Sreeram Balakrishnan所主持，他是IBM公司发明解决方案方面的建筑师。他说，下一代的BI可以更大程度的帮助公司解决问题，并且可以节省很多方面的费用，例如客户关心、市场智能、产品质量研究和开发等。

IBM研究者已经建立了一些应用软件，以实现Big Blue的非结构化信息管理体系(UIMA)，OmniFind搜索工具，WebSphere内容管理，深度分析以及高级数据虚拟化技术等。Balakrishnan说，一个关键的基础是IBM所称谓的“非结构化浓缩数据库”，它可以从非结构化的数据中提取信息，并应用于结构化的数据进行分析。

未来派的BI正在发展

Balakrishnan提供了一种新的范例，将概念蕴含于内容之中。例如，一项客户呼叫中心应用软件，它可以将关于电话呼叫的结构化数据与非结构化的数据进行结合，前者数据例如呼叫长度以及代理等，后者数据主要是从呼叫副本、电子邮件以及调查结果等中提取出来的。Balakrishnan说，这使得公司们可以创建更多的优势用户模型，更好的评估生命周期价值，更好的培训代理机构和人员，以及最优化自助型的资源，从而可以开拓下游市场并最终增加收益。

另一个示范是关于租赁汽车公司，它所遇到的问题是，有些人进行了预约却不来取车。通过对代理通信的副本数据进行了分析，并将它们与汽车提取率进行对比，他们发现，如果预约电话中包含很多的“价值出售习语”时，客户们更容易引导和接受。最终，该公司计划使用语音分析，而不是单纯的文本分析，Balakrishnan说。使用语言分析工具的还有另一家公司，它对那些不寻常的电话进行鉴别，然后再将其进行人工接收服务。这就使得公司可以集中于那些需要人工分析的呼叫，而筛除那些一般性的呼叫。

在博览会上还有一种未来派的IBM演示，主要用于分析视频影片，并对图像中的相似概念进行鉴别。演示者展示了对于“英式足球”的规则性的搜索，基于文本标题的时候返回了数百个结果，例如关于足球明星等的任何东西。然而，当使用高级图片分析的时候，它们只显示很短的目录，展示了实际的足球比赛内容。

几乎在每一项展示中，自然语言搜索都是一个基本的起步点，也是一个重要的概念，它可以推动BI被更加广阔的用户所接受。Balakrishnan说，搜索的重点在于更好的理解人们的想法，而不仅仅是人们的说法。这意味着，理解一项关于“Barbara电话”的搜索并不需要关于该词语内容的所有的文件，它只是一种Barbara电话号码的需求，它可能被存储在结构化或者非结构化的数据资源之中。

Paige Allen是美国亚特兰大的逻辑商务解决方案公司的策略主管，她说，对于商务人员以及技术人员而言，了解现在的可能性以及不久将来的可能性是非常重要的。她参加了Balakrishnan的介绍会，所以她能够培训和指导顾问公司的工程管理者，他们经常遇到那些包含客户非结构化数据的工程项目。

Allen说，“我希望我们的工程管理者能够了解什么是可行的，这样以来，他们就能够对更好的对自己的选择进行虚拟化。他们考虑一项工程，可能仅仅考虑结构化数据，或者现存的解决方法。然而，他们还需要认真的考虑现在这些最新的创新方案。”

Innovate 20061029

语义搜索功能我在今年已经听刚从美国回国工作的同事提到过,
据说美国已经开始有公司和研究机构在研究实际应用,
主要研究方向是和数据挖掘结合, 以及查询技术结合.
但从上面提到的分析, 那个同事还没了解完全,
应该还有两点是结合数据仓库的发展方向,
一是将信息从文本文件快速搜索出关键信息再导入数据库,
可以初步实现海量数据的接近实时的BI(之前只是小数据量才能实现近实时BI),
当然搜索出来的仅仅是部分信息, 属于定制化BI;
二是从web搜索更多信息, 然后进入企业海量EDW,
把外部信息和企业内部数据结合起来分析.
但由于企业内部数据是可信的, 相对准确的数据,
而外部搜索信息不够可靠, 只能作为参考分析和查询.

不过国内好象没那家公司在研发(如果有,
可能是秘密研发), 可能因为还没看到市场契机吧,
而中国公司总是落后美国的几年到10多年,
大家都习惯享用美国公司的研究成果了.

总之, 我觉得现在DW和BI人应该多学新技术,
不能老依靠什么工具,
不然出现新的技术就不能跟上时代的新需求,
自己已经不太会编程了, 而受制于工具的局限,
且监守已经很成熟的技术, 特别是工具,
对于职业发展也是很不利的. 从上面看,
搜索引擎技术将是未来DW/BI人员想深入技术发展的必学技术.

Qing 20061030

文本数据挖掘，现在越来越多的BI公司在做这方面的尝试，又自己干的，也有和其他比较专注的公司一起合作的，例如几个BI厂商和google的合作。

但我一直想，这个玩意儿，算不算BI的范畴呢？可以算，也可以不算，但要将它作为BI的方向，却不大赞同。觉得这门技术，对于目前的搜索引擎厂商来说，更容易掌握，算他们的方向更容易理解一些。而BI、DW人员，主要的竞争力还是在于数据管理、数据分析以及分析应用上面，还是面向结构化数据的。这些东西都远远没有成熟，何必又去趟另外一趟浑水，当然，如果你是浑水摸鱼的话，是另当别论。浑水摸鱼的本事也不可小觑啊。

不如将文本挖掘看作是ETL中的E吧，虽然它比一般的E要复杂。但道理还是差不多，从乱七八糟的数据中抽取有结构的数据，灌到数据仓库中，作分析。从灌入数据库开始，后面的步骤便跟现在的BI没什么不同。得管理这些数据，设计一些元数据，得进行汇总，作一些OLAP分析、或者数据挖掘什么的。

中国肯定是有研究这玩意儿的。昨天去图书馆，翻了一本杂志，其中有一篇，就叫做《基于本体论的文本数据挖掘方法》，一看这个名字头就大了。看来，虽然国内有研究的，但还处在扯淡阶段。

土包子 20061030

个人认为是属于BI的发展方向问题。
第一类是传统的数据仓库方向，主要是功能的增强，性能的提高，理论的深化，数据库、OLAP、前端工具的不断完善等等
第二类是面向未来的发展，也是BI的概念的扩展，如文本数据挖掘、多媒体数据挖掘等等。本人一向对数据挖掘敬而远之，究其原因是数学太差了，不敢涉足。如果有傻瓜式的数据挖掘软件倒是可以一试，呵呵。
至于国内到底是否有研制，也许都是集中在高校的研制单位中吧，还是出于跟踪阶段。

Zjsharp 20061030
很同意innovate511的意见,
工具毕竟是种手段,不能代替人的分析思考(虽然偶正在初期学习各种工具ing,不过学习工具不是最终目的)
现在的BI这样说起来感觉面很广了，什么都讲智能，除了BI，以后会不会还涉及一部分AI(人工智能)了...
另外,IBM通常提的BI的范畴应该是其它公司的提的（DW+BI）的组合,
说不定它还想把其它可能涉及的范围都纳入进去一个大而整体解决方案。
随便说几句

Innovate 20061030
我觉得应该属于BI范围，就象数据挖掘和数据仓库结合前，只是些统计学和概率学的范畴，而数据方面主要是样本数据抽取。但当数据挖掘和数据仓库结合后，数据挖掘理所当然成为BI范畴，而且在最近几年开始广泛应用起来。这在10多年前OLAP刚发明的时候，OLAP逐渐广泛应用和认可，而那时数据挖掘+数据仓库在实际项目中估计都没咋采用吧，都很谨慎。现在虽然数据挖掘仍然不够成熟，也不够普及，但毕竟在商业项目中已经比较多了。

而文中提到了，搜索引擎只是负责根据客户和行业需求，从大量信息中搜索出需要的信息，然后最后加载到数据库进行再分析而已，并不是说没有用传统的BI方式去分析。这里的搜索引擎相当于一个信息再加工和转换的工具，并没有代替传统BI，只是给DW的传统架构多了个选择，也可以说多了新的数据源（也可能是原有数据源的再提取），这显然是给了DW一个挑战，如何把这些新的信息和传统模型融合在一起呢？这将是以后慢慢磨合的过程。

我想，学术有专攻，这里每个人都不敢说自己DW/BI/DM（data mining）都精通，但你必须有所了解，因为他们都息息相关，就象兄弟一样，他不会抢传统DW/BI的饭碗，只会让传统的DW/BI越来越丰富，就象当年OLAP的出现一样。你至少要了解他是干什么的，能给你提供什么东西，或者如何利用他。