百分点：守住电商后门 推荐引擎让大数据快变现

二错 百分点实时提供消费者数据而并非在第二次浏览中

千家的电商合作企业，也就是千家的数据。这意味着数据量可以用三个字来表示，那就是大数据。大数据可不只是数据量大，还有数据分析。这用在百分点自身业务上，更具有特殊的挑战意义。需要将千家可能是跨行业跨领域的数据融合，在毫秒级的实时响应时间内，做到用户无肉眼感知。

实现这些的百分点该是怎么样的一个大数据平台呢？它所构建的大数据处理平台包含了 数据存储和数据处理两个层次。底层的基础架构自然少不了hadoop，但它也只是其中的一个组件，这包括分布式文件系统（Hadoop HDFS）、分布式SQL数据库（MySQL）、分布式NoSQL数据库（Redis、MongoDB、HBase）、分布式消息队列（Apache Kafka）、分布式搜索引擎（Apache Solr）以及必不可少的Apache Zookeeper。

数据处理层由四个部分组成。其中Web应用云包含了所有直接面对用户的Web服务，每个Web应用都会产生Web日志以及其他实时数据，这些数据一方面会及时交由实时计算框架进行处理，另一方面也会定期同步至离线计算框架；实时计算框架会处理接收到的实时数据，并将处理结果输出到数据查询框架或者离线计算框架；离线计算框架则定期对数据进行处理，并将处理结果输出至数据查询框架；数据查询框架提供了一系列应用接口供程序调取需要的各项数据，同时提供了一些Web工具帮助业务人员对海量数据进行统计、汇总和分析。

尤其是百分点引以为豪的实时计算，关于这一部分的组件架构和数据流如上图。数据采集服务会将收集到的实时数据推送到消息队列Kafka中；Kafka中的数据会被两个处理平台BDM CEP（Big Data Management Complex Event Processing）和Storm消费并处理。其中Storm是百分点在2013年中开始运用，它是当下比较流行的开源流处理框架，主要负责数据的清溪、统计和分析，而在这之前，百分点所有的实时计算都是基于BDM CEP进行的。

也就是基于这样的架构，当我们在浏览网站时，才能获得肉眼无感知的性能。据悉，目前对于一些知名的电商网站来说，所采用的用户偏好计算只能在隔天获取，对于讲求高效性的网络时代，无形中流失的客户可想而知。