|
|
干货：如何计算用户行为大数据
用户行为类数据是最常见的大数据形式，比如电信的通话记录、网站的访问日志、应用商店的app下载记录、银行的账户信息、机顶盒的观看记录、股票的交易记录、保险业的保单信息，连锁超市会员的购物信息、交通违法信息、医疗就诊记录。
将数据事先按用户排序，不同的计算目标都使用同样排序好的数据。将排序的时间花在前面而且只花一次，这就可以避免计算时的大排序，参数不同的同一个计算目标也可以重复计算而不必重复排序，不同的计算目标还可以省去相同的排序过程。
但是，不幸的是，一般的计算工具难以实现上述算法，无法有效利用事先排序的数据。比如SQL(含Hive)和MapRreduce。
SQL的困难。SQL的集合是无序的，事先按索引重新插入排好序的数据往往不能被优化器正确优化，具有很大的偶然性，无法保证查询时可以按排好的次序查询出需要的数据。
Hive具有SQL的语法风格，同时也支持并行计算，但它却并不适合用户行为类大数据计算。这是因为用户行为的计算较为复杂，需要窗口函数甚至存储过程来解决，而Hive只支持基本的SQL语法，不支持窗口函数和存储过程。
用户行为的计算之所以较为复杂，是因为需要对同一个用户的多条数据之间进行计算，这种计算大多和顺序相关。SQL对有序计算的支持有限，只有窗口函数可以实现部分简单的有序计算，但对于复杂的业务逻辑仍然显得非常繁琐，而且经常因为大排序造成低下的性能。使用程序性的存储过程编写复杂代码可以实现复杂的有序计算，但很难复用SQL的集合运算能力，所有处理都有从基础运算自己编写，而且其性能通常比SQL更低。
MapReduce的困难。MapReduce支持大数据并行计算，同时它是用程序性的JAVA语言来编写的，这一点和存储过程有相似性。但是，MapReduce所使用的 JAVA语言缺乏针对结构数据计算的类库，所有的底层功能都要自己实现：分组、排序、查询、关联等等，对于有序计算这较复杂的算法所要书写的代码更多、编写难度更大、维护更加困难。同样的，MapReduce也无法利用已经排序好的数据，在shuffle阶段还需要得做大排序。
SQL和MapReduce无法利用事先排序好的数据，难以高性能地将同一用户的所有数据加载到内存中来计算，用户类大数据计算因此会遇到性能、扩展性和开发难度的挑战。
责编：郑雄
微信扫一扫实时了解行业动态
著作权声明：kaiyun体育官方人口 文章著作权分属kaiyun体育官方人口 、网友和合作伙伴，部分非原创文章作者信息可能有所缺失，如需补充或修改请与我们联系，工作人员会在1个工作日内配合处理。
|
最新专题
|
《存储前沿趋势开讲啦》第一季 .为大数据再造存..
华赛存储培训：第三章_raid技术_v2.0.ppt|
|
