基于SynchroESB的数据集成解决方案

1.1. 背景

今天，存储于计算机中的大量数据信息驱动着一切商业、军事以及政治活动。计算机技术已经解决了数据的安全存储，数据的快速查询，数据可用性等多方面的需要，然而如何将现存的以及新建的庞杂异构的数据资源整合为一个统一界面的、易于用户使用的信息系统成为当今计算机界急需解决的问题之一。

由于历史的原因，数据形式多种多样。各行业、单位和部门只是根据自身的具体业务和需求构建了许多相互独立的信息服务和管理系统，甚至在一个单位内部所采用的信息化环境也可能不会固守任何一个平台，而是由不同平台组成。这样随着时间的推移和技术的进步，这些由不同技术构建的信息系统就像一个个“信息孤岛”，各自有不同的数据适应不同的需求，操作方法和专有客户端也不相同。

从数据集成的角度来看，每个部门就是一个数据源，因为他们之间的信息和组织都不一样，这样每个数据源又都是异构的，如此就构成了一个巨大而复杂的异构数据环境。由于部门之间协同合作的需要，在各个环节之间的数据交流以及集成共享的问题也日益严重起来。然而现行的大多数应用程序是建立在这些分离的数据源基础之上的，应用程序间难以实现互相的协同。这就严重地阻碍了人们对数据资源，特别是异构数据库资源的共享。数据集成就是立足于解决上述问题。它的目标是实现各个异构数据源之间的数据共享，从而有效地利用数据资源，为决策提供更全面信息资源。

然而，目前如何使这些原有异构的信息系统集成起来，却不是一件容易的事情，这是因为：一：这些应用系统具有不同的硬件平台、操作系统、网络协议和数据管理系统，它们之间往往存在着很大的异构性；二：这些应用系统来自不同的软件供应商，它们的工作方式千差万别；三：随着业务数量和范围的扩展，需要新旧系统协调的工作；四：企业自我发展完善过程中，还需要对系统不断的进行扩展和改进。企业应用集成(EAI)通过各种软硬件技术将已有的和新建的业务系统集成起来，共同完成企业的各种商务活动，并能够灵活快速地适应企业的发展和市场的变化。根据集成的方式不同，企业应用集成可以分为数据集成、应用集成、组件集成、流程集成等多种模式。由于在当初开发各种业务系统的时候，很少甚至没有考虑到将来的集成需求，所以大部分的遗留系统都是封闭的，没有提供一种开放接口来实现与其它应用的集成。但是，大部分业务系统的数据往往都存在于数据库或者是文件系统中，这些数据库和文件系统可以通过其它的方式来进行访问。所以在目前的企业应用集成中，最实际和最简捷的方式就是基于数据的应用集成。

数据集成是将不同数据源进行整合，并提供给用户一个访问这些数据的统一的数据视图，解决如下问题：一：提供数据的可靠传输，解决不同软硬件和网络环境中系统的通信问题，实现信息孤岛之间的联通；二：解决数据的异地分布问题，实现数据的集中和汇总；三：解决数据的异构性问题，使不同格式、不同数据管理系统中的数据能够相互交流和转换；四：保持已有系统的自治性，在进行数据集成的同时不能影响已有系统的正常运行；五：具有很好的可扩展性和适应性，能够适应企业应用需求的不断变化。

目前数据集成的方案主要有：数据仓库，联邦数据库，中间件。数据仓库和联邦数据库是比较成功的数据集成解决方案，然而这些解决方案不但复杂而且是面向主题的。中间件方式有很大的优势：充分利用现有企业资源，提供与平台无关的系统集成方案，采用面向服务的编程方法，提供给用户一致的编程接口，采用基于web service企业级解决方案等等。中间件的基本实现方案为一个层次模型：底层采用wrapper机制对底层数据源的进行封装；中间层主要完成查询和缓存功能、查询语义解析及其用户管理功能；上层提供终端用户访问接口和与其他系统进行集成的编程接口。

1.2 几种方案的比较

联邦数据库和数据仓库的应用成功解决了许多数据集成问题，然而也使许多用户望而却步，主要是：

1．数据集成是面向主题的：在进行集成工作之前，各数据源的本地模式是已知的，数据集成的目标是明确的，构建导出模式或建立包装器是局限于已知应用，由于主题的多样性，必然丧失了灵活性与适应性。

2．全局模式难以建立：在联邦数据库中，由于本地设计自治的需要，导出模式差异较大，要建立与各种导出模式相协调的联邦模式比较困难。对于包装器和协调器模式的数据集成，有些系统甚至不能提供全局模式，转而依赖于匹配算法等方式来进行模式集成。

3．数据集成是重量级的：联邦数据库和数据仓库一般面向大型应用，在数据集成工作之后还要进行分析处理等工作，其集成模式并不适用于部分简单应用。
因此，我们采用协同企业服务总线SynchroESB中间件，利用它来灵活地完成数据集成工作。

1.3 基于SynchroESB的数据集成解决方案

基于SynchroESB中间件的数据集成是一种比较新颖的数据集成解决方案。这种集成方式与数据仓库中物化关系集成数据源的方式相似，但它并不存储任何实际数据。中间件的作用是将数据源进行综合处理，并将之返回给用户或系统。

协同企业服务总线SynchroESB是基于SOA设计思想，遵循业界流行的规范和技术标准的一种高可靠、高性能的中间件平台软件。SynchroESB着力隐藏引用开发过程中的底层通信平台、线程分配调度、资源管理等方面的细节问题，而使得用户只关注他自己的应用逻辑。并针对不通的场景开发了相关的应用层软件：适配器，以供用户方便快捷地开发自己的应用。

SynchroESB平台按照松散耦合设计原则，以系统的物理分布和它扮演的不同功能将系统分为UltraServer（中心服务器），PeerServer（端服务器），SynchroMQ（消息平台），Console（监控管理工具），Orchestration（应用开发工具），Transformer（数据映射工具），服务组件集等七个部分。其体系架构图如下：

1.1.1. 应用领域

电信领域：SynchroESB能够全方位支持电信行业OSS的应用整合概念，是理想的电信级应用软件承载平台。

电力领域：SynchroESB能够全方位支持电力行业EMS的数据整合概念，是理想的SCADA系统数据交换平台。

金融领域：SynchroESB能够全方位支持银行企业间业务处理平台的流程整合概念，是理想的B2B交易支撑平台。

电子政务：SynchroESB能够全方位支持电子政务应用软件业务基础平台、信息共享交换平台、决策分析支撑平台和政务门户平台。

1.1.2. 利用SynchroESB进行数据集成及数据交换

基于SynchroESB平台的数据交换系统可以实现集成自下而上、不同节点(县、市、省)的异构数据(库)，汇总到中央数据中心；可以解决机构内部异构数据库的数据不一致和同步的需求；可以实现横向系统之间的数据交换和共享。用户可以使用平台提供的缺省适配器组件，将原有的应用系统或者数据库系统连接到整个数据交换平台上来，实现整个信息系统之间的数据交换与信息共享。

1.1.2.1. 适配接口层

适配接口层是支持各种不同数据源的动态插件，它能屏蔽各种不同的数据源的底层技术差异，为数据源提供统一的访问接口，增强了应用和技术协同工作的能力。SynchroESB缺省提供如下适配器组件。当然，用户可以根据需要开发自己的适配器组件。

• RDBMS：Oracle、Sybase、DB2、MSSql

数据库适配器封装各种对数据库的操作，提供统一的访问接口和一致的XML 表达。它包含提供不同访问方式的多种适配器，分别提供了读、写、查询，和监视数据库的功能。

• 文件适配器

文件适配器：文件适配器提供一种通用文件访问方式，通过指定相关参数，可以灵活的读、写各类文件。它可以访问网络文件系统和本地文件系统

•  HTTP

HTTP 适配器把消息传递到运行在一个指定URL 上的servlet 上，或者通过HTTP 协议接收来自客户端的HTTP 请求。

•  SOAP

Soap 适配器封装对WebService 的访问，用于访问一个指定URL 所对应的Web 服务

• JMS

JMS 适配器封装各种JMS 的实现，通过提供统一接口访问其它JMS 的消息中间件。

• IF服务

IF 服务基于指定的XPath 选择标准进行数据的过滤。这个服务在输入事件端口接收XML 数据，进行XPath 的选择然后把数据写到正确的输出事件端口。这个服务还具有数据清理功能，可以清除不符合规范的数据以及空缺值。

• JOIN服务

JOIN 服务在数据集成的过程中完成数据的合并工作，该服务描述了一个同步的节点用于等待在多个输入通道一起被接收的输入信息。一旦数据在多个输入通道被接收，该服务就生成一个新的XML 文件。这个XML 包含了多个输入的XML 文件。输出事件端口把XML 发送到工作流中的下一个服务中。

• CBR服务

基于内容的路由（CBR，Content Based Routing）服务根据配置的一系列的XPath 选择标准在多个动态端口之间进行数据分发。具体而言，CBR 服务在输入事件端口接收XML 数据，然后对接收的数据进行XPath 判别，并将其从对应的输出端口发送给其他服务。

如上图所示，展现了适配接口层的实际应用。

1.1.3. 基于SynchroESB平台的数据集成方式的优点

采用基于SynchroESB中间件平台的数据集成方式，使数据集成与中间件相结合，主要是因为这种结合具有以下优点：

1．可伸缩性：数据集成系统必须建立在灵活可伸缩的基础之上，使不断扩展的企业数据应用能够植根在易于生长的环境中，使产生于不同时期的数据能够整合成一个有机的整体，而中间件正好提供了这样一种基础环境。

2．互操作性：中间件通过一套简单的API或通用界面将应用程序与底层环境分离开来，实现异种硬件平台，异种操作系统平台之间的互操作性。这也解决了数据集成中的系统异构问题。可以说中间件的互操作能力为企业数据集成提供了一种经济而有效的手段。

3．适应性：中间件使异构数据集成系统能够适应业务需求的不断变化，在产生增加或减少客户机，应用程序，服务器结点等环境变化时，能对整个系统的影响减至最小。

4．易开发：中间件提供了构造数据应用的基础构件，为开发人员屏蔽了直接接触底层环境所要面对的复杂性，使开发人员专注于业务流程的实现上，从而使数据的相关应用开发工作简便易行。

5．经济性：中间件可以为不同的数据应用提供不同的标准灵活的基础结构，使企业避免了为多个数据应用反复编写底层程序重复劳动，使应用开发的人力投入大幅度减低。同时，中间件的应用集成能力使原有数据应用的开发投资得到保护。

6．高效性：中间件作为标准的基础构件，产品化要求是自身处于持续的不断优化之中，从而使居于上层的数据应用能够获得一种有质量的运行环境，满足数据集成在处理效率上的需求。

7．易使用性：中间件支持多种开发工具和语言，实现了数据集成开发环境的平台无关性。

总之，中间件这样一种形式比较灵活，可以很方便地应用于各种异构平台的系统中；同时他又能够屏蔽应用底层的传输协议，系统结构，操作系统和其他应用服务的差异，是解决异构数据集成的一种比较好的方案。