星环Hadoop发行版助快递业迎战“双十一”

近年来，我国快递行业的规模随着电子商务的井喷出现了快速的扩张。据统计，全国现在已有上百万快递从业人员、十几万营业网点、几十万辆快递货车和一年近百亿件业务量。这些数字还在以每年超过40%的速率增长。天文数字的市场需求给快递公司带来了巨大的商机和前所未有的挑战。

首先，快递行业公司众多，彼此竞争极为激烈，在人工价格上升的趋势下还要维持服务的低价并且盈利，就必须严格控制成本。而每年的“双十一”会给公司的处理能力施加远高于平时的压力。想必各位买家都已经历了今年“双十一”后长达数天乃至一二周的漫长等待。因此，怎样缓解“双十一”的爆仓、避免快件变“慢件”是每个快递公司的难题。

“老问题新办法”，星环科技和华胜天成联手为国内某著名物流公司打造了面向未来的大数据Hadoop系统。依靠该系统强大的实时数据处理能力，物流公司的“双十一”效率明显比往年高很多。

在项目研究阶段，星环科技和华胜天成的开发人员发现快递的效率其实在于流程管理，而当流程全部计算机化后，快递公司面临的难题的答案其实就在自己手中 —— 它就是快递的每一个生产环节都会产生的大量数据。监控这些数据进而对全国各处理中心的收寄和运载能力、出班投递计划做优化调整，公司就能降低成本。分析这些数据来对“双十一”的趋势做出预测，公司就能做好准备应对暴涨的需求。然而，快递生产环节中的数据具有数据量大、类型复杂、结构杂乱的特点，而上层应用对实时性要求很高，传统数据库在这样的情况下捉襟见肘，所以快递公司需要大数据解决方案。

问题与需求

客户需要搭建一个大数据平台来对它在全国的揽投部、处理中心和集散中心的数据(包括已接收、留存件、已下段、未下段、已投递、未投递、揽收员、地址、已封发、已发运、未发运等等)进行处理。大数据平台需要将ESB(企业生产总线)流来的数据实时动态加载进数据库，进行处理和统计并且实现实时数据查询。客户原先的技术在每次处理数据时都需要对所有数据进行一次全面ETL(萃取-转置-加载)，查询延时在二十分钟以上，完全无法进行实时查询。

星环Hadoop发行版TDH方案实施效果

上图为TDH平台中的所有组件。在快递公司项目中，这些组件中起主要作用的是Transwarp Stream，Transwarp Hyperbase和Transwarp Inceptor。

Transwarp Stream 实时流处理引擎以Spark Streaming为基础提供强大的流处理能力，它拥有：

●更强的表达能力：支持DAG计算模型

●丰富的输出方式：HBase，告警页面，实时展示页面

●广泛的应用场景：传感器网络处理，服务监控，反作弊

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友