大数据开放不可能一蹴而就，问题依然有待解决

大数据的普及给生活带来了质变。随着科技的发展和人们的需求变化，大数据开放成为如今数据开发的重心之一。不过，这个过程不可能一蹴而就，在大数据开放的进展中，还存在很多问题。

一是多源数据水平参差不齐，可用性有待提高。开放格局下的数据源要求在现有数据获取途径的基础上，提供更多样化的数据采集手段，并进一步提升数据采集的范围、频度和精度。目前各细分行业的采集手段较难统一，不同行业领域生成数据的过程往往依靠私有化和定制化的设备来实现，这也导致了各行业领域对同一数据内容的解读存在广泛的不一致现象，影响了公共数据的梳理和聚集。例如对同一数据来源，不同的行业领域可能采用不同的编码方式、存储类型、索引结构等，尽管数据的天然属性是唯一的，但表现在技术方式上多种多样，人为地造成了数据的“多样性”，致使数据整合难度加大，数据的直接可用性严重低下。

二是数据模型的衍生速度滞后于应用发展。开放格局下的数据分析和挖掘工作重点由传统的单一领域数据分析转为多领域数据的综合分析，相对应的数据模型也从平面式模型结构向数据模型立方体转变。数据模型的规范性和权威性会直接影响数据分析结果和战略决策的准确性，因此，缺乏高效可用的数据模型成为开放格局下数据分析挖掘服务能力的瓶颈所在。此外，目前数据模型的生成和创新主要依赖人工预设、人工智能和机器学习等传统方式，针对多源数据关联的模型仍然不成熟，高质量数据模型的衍生速度尚不足以匹配应用的迭代速度和业务场景对数据分析结果的高要求。

三是混搭架构的存在要求重视顶层架构设计。一方面，数据来源的多样化，以及数据应用兼顾在线分析（olAP）、实时交易（olTP）等多场景的现实诉求，决定了企业必须借助混搭技术要素来设计复杂的数据架构。另一方面，传统企业碍于现实生产系统效率和准确性的影响，IT系统“去IOE”的过程较为缓慢且不彻底，基于小型机构建的Oracle数据库较难被完全替代，基础设施类型和数据组织方式的异构性同样导致了混搭数据架构可能长期存在。如何面向企业数据需求构建包括传统关系型数据库、内存数据库和分布式文件系统等多元素的混搭架构，成为开放格局下数据保有者进行顶层架构设计所面临的新问题。

四是数据私有化和开放诉求的天然矛盾持续升级。数据私有化不仅体现在数据保有者对原始数据的不断积累，同时也作用于ETL等数据的私有化加工过程。出于对企业信息和用户隐私的保护，数据保有者通常将加工处理后的原始数据作为数据内容开放给上层应用使用，但不公开相应的数据加工转换规则。在缺乏行业标准的统一指导下，开放哪些数据字段、字段的编码映射规则及数据加工的精度等都导致应用提供者在数据开放格局中处于被动地位。不过大多数数据分析工具也并不能完美融合数据隐私的保护和数据共享。大数据魔镜则能突破性地支持团队协作，让企业上下共同分析数据，同时为数据加上隐私保护锁。随着数据范围的不断扩大和多领域数据关联结果的指数级增长，数据私有化的壁垒效应会越发明显。然而，开放式共享却也是数据发展的必然要求。

这些问题在很大程度上限制了大数据的开放性的提升。当然，所有对大数据未来有着殷切期盼的人都在努力解决这些问题，相信未来大数据开放将会突破局限，实现安全高效的开放。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友