擎云轻落，盈动IT科技之美

戴尔大数据解决方案的方法论

云时代的开放让数据有爆炸式的增长，各种各样的手机，各种各样的器件以及很多电脑、服务器会自动产生大量的数据，不仅仅是微信、微博，在工厂里面还有很多传感器产生的机械语言，以及目前的数据库都在不断地变大，利用好爆发的数据产生未来增值效益难题摆在了企业面前。我们对大数据问题的解决也就更为迫切。

大数据是一个非常热门的概念，大数据最早是来自于互联网、搜索引擎、电子商务。大数据处理涉及计算资源需要非常快速的计算和分析能力，来分析来自于互联网上不同用户的行为。

戴尔云计算及大数据高级解决方案架构师刘沅说：“比如说电信行业里面有大量的网端数据，零售行业，有大量的处理交易性数据。传统的IT系统很难去捕捉用户的行为，因为这些数据对他们核心的价值来讲可能不大，但当你把这些数据通过一个很好的解决方案进行分析，去分析其中的用户行为，你就可以去挖掘出更重要的价值。”

戴尔云计算及大数据高级解决方案架构师 刘沅

云计算带来更加轻盈的小型机、更加轻盈的分布式运算存储，也带来了对数据应用和服务的市场需求。当越来越多的政府机构、企业和个人意识到数据可以是巨大的资产时，大数据技术的开发则衍生出了全新的创业方向、商业模式和投资机会。

戴尔在大数据时代，为了达到平台处理的能力，搭建了大数据解决方案平台，为大数据解决方案提供了一个方法论。

第一，简化客户体验。相对于传统解决方案大数据平台的搭建难度会更大。从传统的数据解决方案迁移到大数据平台的时候，所需要投入的时间会比较长，还要优化整体解决方案的性能，戴尔在为用户搭建大数据平台的时候，充分考虑了性价比和投资回报，提供了不同层次的底层硬件架构对大数据进行优化。

戴尔在软硬结合方面自有一套解决方案，能够帮助用户快速安装、部署、监控、管理大数据平台。这也是戴尔的开源大数据解决方案中利用上层软件针对大数据所需要的计算和存储平台的优化。如有个工具叫做Crowbar，用在物理服务器上，几个小时之内就可以实现安装、部署、监控、管理大数据平台。硬件层面的优化戴尔提供了PE-C6220、PE-C8000及PE-R720服务器。

纵论当前企业对大数据的需求，刘沅将其概括为4个特点：体量大、速度快、数据的多样性和数据所产生的价值。

“体量大”指要处理的数据已经到了PB量级。“速度快”指对同样一个数据处理的结果，当处理所花费的时间不同的时候，给企业所带来的价值就变得不一样。“多样性”指对今后数据的分析可以有多样选择，依据需要提炼有价值的部分。“数据所产生的价值”在于那些内容对企业有价值。如企业要卖网上的广告，可以通过各种数据分析在哪个区域，哪个渠道上面去投放，挖掘数据价值的过程很重要。

典型的Hadoop用户痛点以及戴尔解决方案的价值

戴尔在大数据解决方案上面，采用了Hadoop平台。刘沅说“传统的大数据平台不具备非常好的配置管理功能，不具备非常好的监控、部署、故障报警的能力，Hadoop平台可以帮助客户解决这方面的困难。我们为大数据平台推出的非常优化的硬件产品，我们把它叫做PEC8000服务器。从数据存储、报告和分系统中获得价值，提供规模、速度、丰富性和易用性。好处就是可以包括客户节约机房的成本。”

传统的数据模式和大数据所带来的需求有什么不同？大数据有很多非结构化和半结构化的数据需求。传统的数据应用当中，可能更多是集中在结构化的数据。这是为什么？刘沅解释说： “首先，结构化的数据价值密度很高，可以用昂贵的，安全度非常高的设备做一个处理。由于结构化数据总量可控，更容易让传统企业IT部门在应用场景当中去关注。但结构化数据只是大数据当中的一个部分，大数据当中还包括非结构化的数据，比如说照片、音频、视频等。

当你需要处理的时候，你需要涉及到每个数据，你不能说这些数据全部放在离线的状态，这样就不能访问到。在传统的数据解决方案里，数据存储和数据分析是一个分离的架构，要有专门的存储设备去存放价值密度比较高的数据。当我需要分析的时候，需要计算集群和计算节点把数据拉过来做分析计算，因为数据量是不大的，读取和网络传输时间并不影响分析的速度和规模。

但是在大数据时代，因为我们有海量的数据存在，存在这个节点当中。如果把数据存放点拉到数据计算模型的点进行计算，那么就会产生大量的消耗。这个时候我们就提出了更多的需求，第一运算要向数据去做一个靠拢，因为数据量很大，分析的时候价值密度低，但价值总量在那，必须要对这些数据都要分析到。那么怎么做到？就是把数据的计算模型扔到每一个数据存放的地点，在数据存放的地点上面去做数据挖掘、处理。

第二，由于大数据时代里面需要成本比较低的解决方案平台，去存放大量的数据。在存放的过程当中，由于数据增长速度比较快，我们需要扁平化的扩张结构，也就是说我们需要横向扩张的经济性。

第三，大数据里面数据的每一个节点之间，由于节点很多一种集群化的模式，那么数据的容错性也是需要考虑的。

这三点就是大数据分析平台对传统数据平台当中所带来的需求的不同。”

总之，何为大数据？相对于传统的存储或者数据库的解决方案，刘沅认为大数据是虚拟化和云的概念。当需要存的数据，需要处理的数据，速度和量更大的时候，我们需要更好更先进的技术方案。戴尔是致力于大数据基础架构的平台，在这平台之上会有不同的应用层，戴尔会根据不同合作伙伴的解决方案打造整体端到端的解决方案。在软硬结合方面有戴尔开发的一套解决方案，能够帮助我们的用户快速安装、部署、监控、管理大数据平台。

随着云计算、大数据、移动与社交的兴起，中国企业对IT建设的理解正在升级和重塑，他们正在用互联网化的精神重塑企业IT，并运用广泛的社会资源来完成自身竞争力的构建。如何利用最新技术把传统IT变轻，如何令企业IT系统更智能地支持业务转型，相信人们对轻盈IT理念的会继续下去。