大数据时代面临三大挑战

大数据时代面临三大挑战：1.软件和数据处理能力。2.资源和共享管理的挑战。3.数据处理的可信能力。

互联网技术，我们都知道IT追求的目标，是追求更强更快和更高。所以，从过去微电子技术创造了很多新的机会，我们知道的摩尔定律，传输的通讯技术，给我们插入优秀的管道，计算和存储能力的不断增强，使得现在的超级计算机和存储得以加强，但是现在由于新的发展形式，以及技术本身的壁垒，完全靠着传统方式的增长，已经出现极大的局限性，最最重要的就是互联网是我们一次重大变革的基础。

最近也一本书说是第5次科技革命或者第3次工业革命。无一例外就是把互联网应用和社会生活结合起来，成为一个最重要的发展内容。而从现在的大型企业和IT厂商的发展和实际运行的情况，我们已经看到数据确实成为战略和经济发展的一个重要基础设施。这也得益于我们所谈到的对信息技术快速的发展，而导致我们现在是以数据和服务为中心前提下开展新的工作和新的探索。数据整个的变化出现了一个巨量的增长。我们看全球数据增长的内容，每天现在的大数据量，以及现在目前完成的内容来看，90%的数字内容和十年前、二十年前、六十年前相比，有一个巨大的变化。但回过来，面对这么大的数据空间，我们可能带来的一个新的挑战就出现了，比如说到2007年的时候，Facebook使用数据仓库存储15个TB的数据，但到了2010年，每天是压缩过的数据，都不是数据仓库来存放的数据就比过去总和多4倍，商业并行数据很少有超过100个节点以上。现在雅虎的Hadoop集群超过4000个节点，Facebook仓库节点超过2700个。而在大量的数据应用当中，还有在科学的私人计算、医学的数据。也就是说大量的数据现在实时性开始影响我们整个的工作，生活，甚至经济。

所以，有人也提到，从过去资本经济的时代进入数字经济的时代。特别是我们所看到的虚拟世界、物理世界与人类社会相关联的时候，创造出了更多与以前所不一样的。所以有学者说，18个月翻一番的数据量导致存储和处理能力的提高，开始落后于现有数据增长的幅度，导致现在我们知识社会当中面临的最大的瓶颈。而在这个瓶颈下，过去的数据，以商业数据为主，是确定了数据。而现在的数据都是不确定的数据，还有大量实时内的数据。作为数据处理的能力，究竟应该在哪里，应该说最近这十年来，大家一直在探索，比如说以科学计算为基础的网格计算，以边缘数据之间的P2P计算，以及最近这几年非常热的智慧地球、智慧城市和物联网。

究竟在最近这几年已经城成为实时性的大规模的云计算，是否是未来解决海量内容的重要方面，大家仍然在探索，是比较集聚的领域。无论从哪个角度来讲，云计算公开处理得问题，对于海量的数据如何提高智能的处理能力。但是，面对的同样技术问题出现，第一，数据管理能力，数据处理能力，高可靠安全服务的能力。正是因为这三个能力的局限性和发展空间，也为现在的数据处理带来了新的机会，就是数据和经济社会密切相连。

所以，我们以前说，过去科学研究的三种模式，从实验到理论分析到计算，一直成为我们当前科学研究和重大发现的基本手段。那么，现在的另一种模式出现，就是所谓的Data intensive，已经在影响科研和生产当中，有第四种形式出现支持新的科学研究发展，可能也会为时不晚。作为在应用当中，实际上云计算也好，移动互联网也好，更多的期望在互联网这个虚拟世界当中，建立一体化的系统，构造这样的云计算或者一个虚拟计算环境，能够使得所有的资源和数据，传统的数据，能够集中被人类共享和创造新的知识，形成一个更有效的一体化的环境和发展空间。云计算究竟是什么？现在很多人说它是四维，量大，类型大，价值密度低，不像过去手工业当中的数据，价值远高于现在云计算的价值。

而这样一个价值密度低的情况，按常理来讲就是创造无穷的价值，这个带来的挑战是远大于对无关数据一般性的分析，同时更新速度极快，一个商业数据保留是有时效性的，现在的数据，我们看到的网页，看到各种新闻，都在快速重复数据，人体健康、教育的数据在大量的更新，一个时刻的数据不足以重要，但是一个长时间的积累和断面的结合，新的数据时空观出现了，这种价值给我们带来的创造性，我觉得可能是大数据是前所未有的。正是因为这样的情况，我举个例子，相当什么情况呢？我以前提到过这个例子，北航有2000人在食堂就餐，突然有20万人，满足基本生活保障，还有基本提高，怎么做？多了十倍的人要吃饭，保持生存状态，最简单的方式，中国的白菜炖豆腐，怎么炖？煮开水，加豆腐、白菜，最后来做，形成了一个新的福特汽车生产线一样，一个流程的管理，一个生产线的管理，数据生产线在形成。这种新的形成方式开始出现不同的专业领域，各类的垂直平台，整合公共处理模式的统一水平的平台，就在创造。那么这种创造实际上也是云计算的一种模式，更强调的是根据数据中心为基础的一种新的服务应用模式，建立了开发者和运营商的一种新的互利共盈的内容。不在于解决过去商业数据和科学数据的高性能，而是要保证一个新的性能价格比，不是高质量，而是能处理的了，不是要很精确，但是基本可用。所以，对于价值密度低，但是数据量剧增的新的难题，这是我们数据进入规模化的发展阶段，这样的发展阶段也是我们搞计算机人的梦想，所谓一切都靠计算。我们以前的物理世界通过仿真建立数据模型，通过高性能计算机支持发展，通过智能活动建立我们的装备，嵌入个系统，我们说可穿戴计算机，嵌入系统也好。还有就是我们互联网已经做到更好的进行通讯的能力。那么，这个思想是图灵奖得主巴特尔所谈到的，根据他的思路，对于这三个特点的总结。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友