不同的“数据质量”含义

发现数据质量这个词从不同人的口中里出来，其实有着不同的含义。例如有的一提到数据质量，就说客户数据如何无意义，常常是地址、证件号码这类信息是否有效。

而在这里谈论的数据质量问题，常指从数据从数据源，长途跋涉到最终报表、cube、分析应用的过程中，数据是否一致，转换的规则是否正确，因此需要一套质量体系来监控这个过程。

这是客户需求决定的，因为在保证客户资料的有效性方面，BI暂时还起不了多大作用，这种"数据质量"似乎暂时不属BI的范畴。例如在电信经营分析中，从生产系统来的数据，经分系统最多只能将它的数据质量问题暴露出来，适当清洗，往往不是去纠正这些错误。要做到纠正，恐怕需要在业务流程上有所改动。

比如说上次朋友在北京办神州行，找个移动营业厅，规定即使是神州行，也是要身份证的。是否要一定要北京身份证忘了，反正当时两人都没带，于是营业员找了旁边一位同事的身份证录入进去。这样的客户信息，那里能有效呢？更别提如果在一般小摊上买号，根本就不用什么身份证。最近还看到一则新闻，说是信产部在计划实行实名制，将要叫停6000万的预付费用户，就是因为这些用户的客户信息根本没有。这可以看作电信运营商们在考虑他们的客户数据质量问题，从制度去考虑。

有些扯远了。运营商对经营分析系统最关心的数据质量，是为什么最后看到的报表不准，如何向老总、向总部汇报？那是要扣分的。因此，自然地，如何让最后看到的数据可以信赖，如何保证在当出现不准的数据能够很快产生警报，如何快速追溯到错误的源头（一般到了数据源哪里，经营分析厂商会大松一口气，"嘘，不是我们的问题"），这些才是重中之中。

以前考虑的 DQFW其实就是针对后面这种数据质量问题而言，那套思路曾经小范围实践，也曾发给若干朋友参考，希望在他们的项目中实践，但似乎还是显得有些理论化。确实，一方面是尚缺少一些工具对这套框架的支持，还有一方面是数据质量的控制不仅仅是一个技术手段，还得有相应的组织、流程支持才行。

说的有道理..

国外系统的数据质量较好,也是因为用了几十年的时间去发展\更新运营系统,规划标准,包括组织和流程等环节..

而中国走的有些快,所以现存企业数据质量确实是很大的问题，一般都不是从源头改,而是在ETL或DB或前端按一定规则,作了脱离源的质量补救..而这个过程,也是要随时间和企业积累慢慢会变的完善的...就像有些生产系统,会有V1一直升级到V4,V5...每个版本的变更,也补充了以往的不足，而对应的企业分析系统,也是一个动的过程,以适应企业的各种变因，短期内,企业的数据质量是一个很大的话题,从长远的角度看,企业的系统架构师,更是重要...一个弹性的企业IT规划和体系策划,更能保证企业的信息ROI。也是中国企业数据质量之路的必需过程。

对于客户资料的有效性我们暂时可以放在一边，换个角度站在经销商的立场上来看待这个问题。

移动市场半数以上的发展客户是来源于中小经销商，他们不仅经销一家运营商的产品，往往把所有竞争对手的产品摆在一起卖。谁好卖，谁难卖自己心里有本再明白不过的帐了。
前些日子提出的"所有客户实名化的"政策，已经有很多经销商在反弹了。

好了，假如我是一个经销商，来看看数据质量是如何恶化的和推演一下事情会如何演变。

2006年1月1日

俺接到通知：所有联不通的预付卡销售，都需要提供身份证验证。
这是痛苦的一天，俺基本上没卖出去几张卡，客户带着烦躁的表情和我争吵并转头而去。
明天，俺一定多进些移不动的卡，他们暂时不要求身份证。

2006年1月3日

移不动也要求身份证验证了，俺今天卖了10张卡。由于隔壁张大娘的打印店传真机被很多人占，我赔了不少笑脸。还好，张大娘够意思，每次都先发我的。

2006年1月5日

日子没法过了，打电话给营业厅小李，他说他们正在考虑给我们配POS机或其它验证设备，不过钱要由自己拿...这不是抢劫吗？我卖一张卡才挣多少钱？

2006年1月20日

今天几个客户来买卡，没身份证。我就把前几天复印的其它客人身份证传了过去，嘿，还真管用。客人满意的走了，我发现营业厅的人也稀里糊涂的。

2006年1月26日

移不动的小张偷偷告诉我，别费事了。复印件和身份证的问题他捞搞定，我卖卡就行了。于是我今天专卖移不动的卡，有人问联不通就告诉他们没货了。

2006年2月1日

联不通的小李打电话问我，怎么最近卡卖的这么差。我告诉他原因，他沉默了一会说：你就专心卖卡吧，我来解决身份证的问题。

2006年2月3日

今天天气阴沉沉的，小李和小张都打电话过来说：不能再按原来方式卖了。要不不卖，要不就传真身份证！我靠，这不是要命吗？还好，小灵通不要身份证...

2006年2月5日

天不绝人之路，最近周围突然多了很多电话亭，电话卡开始好卖了，而且折扣分量也足。

2006年3月1日

一个家伙神秘的告诉我，移不动和联不通最近出了一批内部电话号码？直接激活啥都不用，我要了一批...这个家伙临走还郑重告诉我，别外传注意保密。

2006年3月2日

对面街刘麻子最近鬼鬼祟祟的，老是把客人往自己的小黑屋里带，莫非他还卖盘？
晚上我找他喝酒，半瓶小二他就喝高了，告诉我他有货源，内部卡...

2006年3月4日

日子又好像回到了从前，大家都不再提身份证的事了，不过现在利润越来越薄。周围的联不通和移不动的营业厅开得跟麦当劳，KFC一样，都是对面挺着开。财大就是气粗！

2006年3月8日

今天是半边天的节日，来了一批节日卡，都是300分种免费通话时间的。一个老大妈来买卡，兴高采烈的拿了一张...俺向来尊老敬幼何况是节日期间！俺告诉她一个不知道的实情，这个优惠是有讲究的：每天10分钟免费时间，不用还作废...您算着点打！

2006年3月10日

营业厅的人来告诉俺，他们现在往外承包了。一个柜台3000块，问俺要不要？刘麻子已经进去了！

2006年3月12日

天空下着小雨，俺决定收摊不干了。听TTNN报说，卖白薯能挣钱，现在生产炉子的厂家都供不上货了...俺有点心动 ！这时候一个脑袋上绑着"BI"的家伙，神气活现的跑了过去，大声嚷嚷：BI的春天来了，大伙都抄家伙上吧！