烟草企业数据中心系统的设计与实现

1、基于数据仓库的数据中心总体框架和设计

1.1系统总体目标

数据中心建设完成后，将会达到如下目标：构建能够支持所有业务领域的企业级分析决策系统架构；集成整合众多小规模决策支持应用，有效分担事务处理系统的负荷，提高决策支持和事务处理系统的动作效率；建立基于公司伞业务流程数据仓库的管理机制，提供完整、准确、一致的分析数据及决策管理模型；基于烟草公司全业务流程数据仓库设计和构建财务、销售和市场等领域数据集市.实现财务、销售和市场领域相关指标的统计发布；采用数据大集中方式，实现相关业务系统的数据自动获取和积累，以及业务数据和信息的全行共享；提供功能强大的公用综合数据分析平台，可以方便、快速地满足多种类的业务分析要求，提高管理工作的效率及准确性；建立完善的系统安全和数据安全控制机制；适应集团现有业务管理模式，实现管理业务的流程化、规范化和报表档案的电子化管理；利用商业智能技术对集团各种业务信息进行及时、科学的汇总、分析和预测，实现业务分析自动化，为领导分析决策提供真实、全面、准确的依据。

1.2系统总体性能指标

系统性能应遵循或达到如下几点：①可靠性及可用性。报表平台保证24小时运行。保证系统在任何情况下能够合理分配资源，以实现未来业务发展的各种功能。②整体性及高效性。系统整体设计能有效的实现后台一体化管理，系统提供对各类事务处理的高效性，使对大容量数据的查询和更新等操作在较短的时间内迅速完成，对于大数据量的处理，也能高效地完成.③先进性及实用性。充分利用现有资源，首先满足用户当前需求，尽快投入应用并在应用中提高工作效率和经济效益为主要目标，在此基础上，提供与各类现有业务系统进行衔接的良好接口。④安全性及实时性。报表数据的安全至关重要，系统必须采取严格的保密措施，通过各种加密技术来确保系统的用户身份真实性、数据保密性、数据有效性、数据完整性和防抵赖性。在网络状况好的情况下，系统内部刈每笔HTTP请求的处理时间控制在1分钟之内。⑤支持集群、负载平衡等相关技术。可设定多台服务器进行集群，在每台服务器上还可以设定最大用户并发数，当用户并发数超过这一限制时，会自动到集群内其他服务器上请求服务。⑥提供完备的信息输出接口。分析的结果在于应用，而应用的目的根据不同使用者会有不同的需求，有的需要生成演示文稿、有的需要导人Excel进行层次更深加工、有的需要生成报告形式发送下级单位等。将根据需要开发常用输出格式：Excel，PPT，PDFXML，HTML等。

2、数据中心的总体架构

2.1数据交换服务体系

数据交换服务是数据中心实现的主要功能，其建设任务是要形成统一的、具有一致性和可扩展的数据交换和服务共享平台，满足纵向三级(国家局、省局、市公司)数据交换以及横向的已建应用系统间的数据交换和信息共享需求。数据交换服务体系包含闫家局交换服务中心和省级公司交换中心两级，两级交换中心以行业内联网为物理传输通道，通过同步和异步两种传输方式实现国家局、省级公司和市公司的三级数据交换，国家局数据交换服务中心还包含信息服务平台，实现行业信息协同。数据交换服务体系纵向通过由行业重点工程已建立的统一异步传输通道(MQ)对国家局、省级公司和市公司数据进行非实时交换。横向通过同步传输通道实现业务系统间的信息集成、互联互通。数据交换和服务体系的物理载体是一个数据集成和交换平台。在集成与交换平台中，主要通过数据抽取和数据复制实现数据集成和数据交换。一个数据源(如专卖数据库)可以通过对应视图(View)和触发器(Trigger)进行操作，这样，其他应用(数据库访问、应用系统)只要针对视图进行读/写，就可以实现数据的交换。当数据源结构发生改变时，只要这种改变不影响视图，原有的操作同样有效.从而保证了数据交换机制的稳定性。当数据源数据发生变化时，利用触发器技术，数据将自动同步到相应的目标。

2.2数据加工存储体系

烟草行业信息具有数据量大、内容杂、种类多、系统多及应用需求差异大等特点，数据必须进行统一组织、统一管理、统一存放。为满足省市两级经营管理的要求，须进行合理的数据规划和整合，建立全省系统统一的数据视图，实现数据统一管理和有效集中，为建设决策支持分析系统提供信息支持。数据加工存储体系主要是从数据源采集数据，并对数据进行清洗、整理加载和存储，构建数据仓库。数据加工存储体系主要包括数据收集、数据整理、数据仓库建设等。见下图。

数据加工存储体系主要包括三阶段流程：数据收集：通过建立数据采集通道，将各个业务系统的数据进行集中和整合，形成数据中心的原始数据。数据整理：在原始数据的基础上，按数据标准对数据进行过滤、转换、清洗等，形成数据中心的规范数据。数据仓库：根据不同业务需求对规范数据进行加工：，包括指标合并、汇总、分析等，并按主题组织数据，形成数据仓库。数据以数据仓库(DW)和操作型数据(ODS)两种形式存储。其中操作型数据库用于存储从各业务系统采集的实时或准实时的操作型数据，同时，作为下一级数据的备份；数据仓库用于存储经过汇总、确认的历史数据，涵盖行业生产经营、决策分析等综合的、全局性的数据，提供管理所需的完整信息，为企业科学决策、分析提供数据层支持。

2.3数据分析应用体系

数据分析应用体系的建设，就是在共享数据标准化、一致化的基础上，通过模型化、智能化的分析方法和管理工具，深层次地分析、整合和使用各业务系统数据，从已有信息资源中挖掘出更大的价值，提高信息资源的利用率，实现信息共享，为全省系统宏观调控、加强管理，提供易操作的决策支持手段，方便各级领导及时掌握企业经营状况和经济运行形势，提高信息的及时性、全面性、完整性，在提供传统的查询和统计功能外，还提供多种信息展现形式。数据分析应用体系主要是为用户提供数据应用的工具和平台，推进信息资源的有效开发利用，包括为管理、决策提供随需而变的信息查询、报表生成和分析结果展现等，以及为用户的个性分析应用提供工具。数据分析应用功能包括动态查询、业务报表、数据分析、数据挖掘、数据监控和数据预警等，包括查询功能、灵活的报表功能和智能分析功能：查询功能：完善信息查询和搜索机制，为各级领导和管理人员提供个性化的数据浏览和查询功能；报表功能：为各级统计人员和管理人员提供面向数据中心的高效、灵活的报表功能，实现报表制作、报送的随需而变；分析功能：运用先进的商业智能(BI)分析工具，为各级专业管理人员提供分析模型，为各级领导决策提供科学依据。

3、结束语

近年来随着计算机的广泛普及和计算机功能的日益强大，使用计算机进行信息管理己成为十分普遍的现象，因而在计算机信息管理的基础上发展起来的决策支持能力，己是相当紧迫的要求。烟草行业数据中心解决方案是基于数据整合技术建立数据交换平台，可以将整合企业内部各种数据源，包括结构化数据源及非结构化数据源(如文本文件、Excel文件、XML文件等)。基于数据仓库和商业智能技术建立企业级数据仓库，并帮助企业从纷杂海量的数据中获取有价值的信息。在数据中心的基础上实现各种商业智能应用，用以帮助决策者科学决策、提升核心竞争力。尽管决策支持系统还存在着结构上和应用上的很多问题，但它必将克服这些困难，得到更大的发展。
 

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友