第四方物流的分布式数据挖掘系统研究

    第四方物流是在电子商务和第三方物流基础上发展起来的可以满足物流一体化、系统化的要求，可以最大限度地节约物流资源的整体供应链物流解决方案提供者。第四方物流最重要的作用是以IT技术为依托，最大限度地整合物流资源，以在整个供应链管理上，对资源进行分配。第四方物流是在第三方物流的基础上发展起来的，第三方物流服务提供商已经运营了很长时间，系统中积攒了大量的数据，这些数据当中隐含了大量的可以辅助第四方物流进行诸如优化策略中的路径选择、运输载体选择、第三方物流供应商选择等决策的知识，如何将这些分布的数据转化成决策欣据，成为第四方物流实现资源分配至关重要的一个问题。采用传统的数据挖掘办法面临着数据安全性、数据保密性、网络带宽等限制，为了解决这一问题，针对第四方物流系统的情况，本文将分布式数据挖掘应用到第四方物流系统中，辅助第四方物流有效地集成数据、处理数据、挖掘知识，为供应链中资源的合理分配提供决策依据。

    1 第四方物流

    1.1 第四方物流的概念及背景

    1996年第四方物流由埃森哲公司提出，他们给第四方物流的定义如下：“第四方物流供应商是一个供应链的集成商，它对公司内部和具有互补性的服务供应商所拥有的不同资源、能力和技术进行整合和管理，提供一整套供应链解决方案。”第四方物流主要是对制造企业或分销企业的供应链进行监控，在解决企业物流的基础上，整合社会资源，解决物流信息充分共享、社会物流资源充分利用的问题。

    第三方物流作为专业化的物流的一种形式，因其能提供良好的物流服务而在国内外得到了蓬勃发展，并且得到了各行业的广泛认可，但随着企业管理和服务能力的不断延伸，特别是企业经营面IIf的业务内容越来越复杂，活动越来越细，客观上要求企业在物流管理上不仅仅是针对某项活动戴某几项活动进行有效的运作和管理，而是能有机地整合各种物流活动和相应的业务以及信息，从事全方位、系统化的管理，第三方物流提供商在综合技术、集成技术、战略和全球扩展能力上存在局限性，不得不转而求助于咨询公司、集成技术提供商等物流服务提供商，由其评佑、设计、制汀及运作全面的供应链集成方案，由此形成了第四方物流。

    1.2 第四方物流的特点

    第四方物流具有策划、实施和监督供应链管理的能力，其核心思想是企业集中于其核心能力的发展，把在销售、运作和供应链管理上的责任移交给第四方物流。

    第四方物流在现实的运作过程中，表现出来的功能特点如下：首先，第四方物流提供一整套完善的供应链解决方案；体现再造、供应链过程协作和供应链过程再设计的功能；实施流程一体化、系统集成和运作交接，执行、承担多个供应链职能和流程的运作。其次，第西方物流提供商充分利用一批服务提供商的能力，包括B2B、IT供应商、合同物流供应商、呼叫中心和电信增值服务商等，再加上客户的能力和第四方物流提供商自身的能力，提供一个全方位的供应链解决方案，来满足公司所面临的广泛而复杂的需求。

    2 分布式数据挖掘

    数据挖掘是通过仔细分析大量数据来揭示有意义的新的关系、趋势和模式的过程，通过数据挖掘可以用来发现隐藏在数据中的知识，可以充分利用已拥有的数据。

    传统的数据挖掘基本上是一个本地的数据分析工具，仅能对本地数据集产生一定的理解性或概括性的知识。随着网络技术和分布式数据库技术的发展和成熟，原来数据的集中式存储和管理逐渐转变为分布式存储和管理，数据存储方式的变化也必然会捉进数据挖掘技术及其系统结构的变化。由于实际应用中数据的安全性、私有性、保密性以及网络的带宽限制，使得首先将分散存储的数据集中到一个数据库中再进行挖掘的方法是不可行的，分布式数据挖掘技术就是在这个背景下产生的。

    2.1 分布式数据挖掘的概念

    所谓分布式数据挖掘，就是使用分布式算法，风逻辑上或物理上分布的数据源中发现知识的过程。典型地，这种环境以异种数据、多用户、大规模数据量为特征。

    典型的分布式数据挖掘算法的两个基本步骤是：局部数据分析，生成局部数据模型(局部知识)；组合不同数据站点上的局部数据模型，得到全局数据模型(全局知识)。

    2.2 关键技术

    分布式数据挖掘不同于传统的集中式的数据挖掘，是在分布的、异构的数据上进行挖掘，对数据集成和知识吸收提出了更高的要求，所以分布式数据挖掘系统需要解决的关键技术有：a.数据收集(Data Integration)。收集数据是数据挖掘的第一阶段，集中式的数据挖掘系统先从关系数据库中提取数据表，然后把它存放到一个数据仓库戴数据集市中，因此在分布式数据挖掘中所有的挖掘过程应提供一个一致的存储结构，以方便从逻辑上戴物理上分布的数据源中收集数据。b.并行数据挖掘。采用并行算法对数据进行挖掘可以克服数据挖掘算法时间复杂度很高的缺点，目前已经出现了不少分布式和并行的数据挖掘算法，如并行挖掘关联规则的算法CD(_countDistribution)、CaD(Candidate Distribution)、DD(Data Distribution)，以及Park等人提出的PDM等。c.知识吸收。通过数据挖掘算法从几个数据集中提取知识进行知识吸收，然后用这些数据挖掘过程中产生的知识片断结合成一个完整的知识来完成知识推理过程。d.分布式软件引擎。应用开发主要是开发软组件，然后再把它们组合起来，现在比较流行的分布式组件模型是CORBA、ActiveX/DCOM和Java Beans。

    2.3 体系结构

    目前已出现了许多基于不同技术的分布式数据挖掘体系结构。张学明等研究了一种基于CORBA技术并采用多线程并行数据挖掘机制的分布式并行体系结构；陈刚对基于移动Agent技术的分布式数据挖掘系统结构进行了研究；侯敬军等则提出了一重基于Web Services的分布式体系结构，可实现分布式异构环境下的大容量数据的数据挖掘；Krishnaswamy研究了一种用于电子商务应用的基于异构和分布式环境的联邦式数据挖掘系统；Omer Rana等提出了一种基于组件技术的具有良好可扩展性的分布式数据挖掘系统框架，该框架可以方便地集成第三方插件和用户自定义组件。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友