数据挖掘之"商业技术"

作者: richardzzh 20070801

最近我们团队来了一位新同事，刚从南方某大学毕业，原则上其实公司在二年前就声明不招收应届毕业生，但由于数据挖掘是一项很有特殊性的技术，抱着人材为先的原则，还是破格招了他进来。这位同事正在作进公司以来的第一次数据挖掘项目，我问，"数据建模的中什么最重要？"，答曰，"数据处理和探索，就是看清数据，处理得当，建模才能事半功倍"。

其实从建模过程来说，没有最重要的，如果非要说什么最重要，我希望是"商业技术"。也就是说，技术是为商业需求服务的，这是费话吧！那什么叫商业技术呢？泛指上说，就是基于商业实践的技术实施，数据挖掘是一项半自动化的商业数据分析行为，为什么"商业"在前面呢，就是这个道理，做BI和做分析的人员，商业理念与实践尤为重要。这也就是"新人"与"老人"的差异，在技术上其实差异不大，传统上说的"经验"说白了就是商业问题的知识累积与技术融通，不能让知识学习变为问题解决的人，是做不好BI的，更谈不上创新。

如果一位新人进行数据建模工作，面对一堆数据，我想第一个问题是"了解项目目的是什么？"。商业需求分析文件不是放在那里给项目管理者看的，也只是只是为了存档备案，做为真正的实践者，开展工作之前，第一重要的就是了解为什么要做这个项目，搞清楚这些和那些数据结构和关系。那有些人说，我只是做了数据挖掘工作中的一小部分工作，上头交下来什么，我就做好我的三分三不就行了，呵，那么就没什么可说的啦。

商业技术是如何学习和积累的呢？首先确定自身所处行业的大范围，再逐个理解数据表的商业背景与定义，约束关系以及和其他表的关系。例如需要分析客户、交易结果、业务服务的数据。一般来说，这个范围是可以缩小的，一般行业的通用数据知识表可以控制在20个以内，沿着这些表之间的关系，能够引出一些新的需要分析的表。

有了业务积累与数据结构，其实在你的脑中就有了个概念模型，在面对数据挖掘项目时就可以快速切入重点，在纷繁的表、字段中，你真正需要关注的字段其实并不多，需要通过之前的表间关系与技术手段将它们挑选出来，重点描述，发现异常数据、正确的补缺方法、选择最合适的挖掘技术模型。

在从新手走向熟练矿工的道路上，以下几项工作是每天要去做的：
1、商业分析--了解商业背景，关注行业动向与各类分析主题
2、目的分析--在开工之前，最重要的就是了解项目目的，能谈多透就多透
3、数据分类--根据项目主题缩小数据范围，检查数据质量，找寻关键变量
4、技术提升--数据挖掘技术是立身之本，不但要知道怎么用，更要了解算法

数据挖掘只是一种技术，要真正有效应用，付之于商业实践，要走的路其实很长，往往并不是说你了解什么叫客户分层、知道流失预警、会做交叉营销就能到头的，在如今的商业社会里，我们要更多的把握知识创新的脉搏，从而才能提升价值。

作者: Qing 20070801

现在正在讨论的应该就是方法论吧，呵呵。能解决问题的不是方法论，是人。方法论不是技术，是经验总结出来，教人怎么看待一个过程，如何一步步去操作。他只是一种"器"而已。在数据挖掘方法论中，不是首先就有理解商业问题吗？大家知道先业务后技术，确实，这话说起来，也算是废话。不过真正在解决一个问题的时候，大家会按照这些废话推荐的步骤走吗？

我看大多数场合都是没有按照方法论走。做数据挖掘，经常陷于模型之中，而忘记目的，忘记业务问题。做软件设计，忘了需求是什么。这是忘了，还有更甚的，就是"无"。无问题，无需求，这种事情也常有吧。知道方法论，跟掌握方法论是两码事。我知道只有将需求讨论，定义清楚，挖掘出真实的需求，才避免后面做无用功，但我没法将他定义清楚，因为时间紧迫，三天之内就得交付，一个月项目就完事。这种场合，谈方法论都有些奢侈，还是先应付过去，以后的事情以后再说吧。

这是因为没有掌握方法论，人的经验不足，没吃够亏，如果明知到前面的事情作不好，结果肯定会失败，人们还会那样做吗？但人总是有侥幸心理，觉得方法论也就是个大概的，也未必正确，也是可以变通的嘛。可还有个道理说，"不听老人言，吃亏在眼前"，如果将方法论当作经验之谈，可不就是"老人言"。

作者: richardzzh 20070801

同意楼上的（QING），事实上我写这一文的原因正于此，只是可能我没有很好的总结自己的意思。在项目中，强调需求的分析，扎根于数据的理解，是成功的关键。方法论如果只停留在那几个字眼就不等于"死读书"，在实际应用中，有多少人按方法论一步步走的，我不知道。

但我以亲身经历来说，最近的失败，即源于我跳过了方法论中的一个环节，没有有效的控制需求，才导致最终的目标偏航。

对技术出身的朋友来说，可能发认为我写的很"白"，但如果"吃过亏"，就会明白我为什么有感慨。所以，我想将方法论溶解于工作中，抓住几个重要的环节，做好做实，而不会谈方法论是什么样的。

作者: hunter 20070804

看来您是作者。

我认为方法论当然重要，只是说没有实践经验的人不能体会到其具体滋味。

方法论就是流程，没有流程就不能保证长期的不同分析任务的质量

有多少人真的关注商业问题呢？猜测多数人关注的是：很好地完成自己的工作目标，积累良好的职业声誉，怎么样和项目人员打交道的时候保住自己/部门的利益并且和对方达成妥协。背后商业条件比其他很多需要考虑的问题要遥远的多。就事论事，把分析做好，并不代表需要越俎代庖，帮对方老总想他的商业问题。

对方老总在想什么呢？（银行/电信） 真的是想企业利益最大化吗？那恐怕是要开党会表扬的了。退一步说，即使企业利益最大化，不代表民众利益最大化。

作者: richardzzh 20070806

谢谢，Hunter的回复，写这一篇时我受到一些个人情绪的干扰，所以在用词和角度上有点歪，希望大家不要介意,

你基本上同意Hunter的意见，这个在我上面跟着QING的贴子里其实有写道，其实我们在谈的都是方法论

我并没有说方法论不重要，其实我在郁闷和强调的正是数据挖掘的方法论与项目目标界定、控制上的想法

在自己的项目中，或许正是由于前段时间做的太顺，所以在某一环节上没有很好的控制，结果出现很大的工作漏洞

所以，回过头来反省时，我想在项目中方法论的确很重要，但QING也提到有很多时间资源上不允许我们一步步按方法论来操作，那么就变成了你所说的经验很重要那些是必不要少的控制，那些是可以通过经验跳过的环节，这一些我们也在通过项目来学习和总结

总之，我当时所说的"商业技术"可以从现在来说，理解为在做数据挖掘项目中，抓住方法论的核心环节，有效的控制项目质量，在理解和分析商业背景和需求期望的情况下，方可保证项目的顺利完成

完成自己的工作目标，积累良好的职业声誉，保住自己/部门的利益，呵，这段话很中肯，谢谢！