与大数据共舞:企业和消费者共享利好

来源:中关村在线  作者:范平
2012/10/29 17:25:59
大数据,可以说是史上第一次将各行各业的用户、方案提供商、服务商、运营商以及整个生态链上游厂商,融入到一个大的环境中,无论是企业级市场还是消费级市场,都与大数据发生着千丝万缕的关系。

本文关键字: 大数据 IDC Hadoop EMC

就目前来说,基础设施还是以开放而又标准的x86平台为主。在该平台上,我们可以着重从计算设备、存储和网络三大层面来进行分析。计算有赖于服务器设施,包括服务器性能、能效和扩展。具体来说,就是指服务器所采用的CPU架构和内存频率及容量、I/O带宽和集群或者分布式计算体现出来的整体能效。存储方面,大数据对存储架构提出挑战。并要求拥有更高的数据传输通道和更低的网络延迟。万兆和Infiniband网络互联也将得到更多应用。

大数据与谁共舞?时代命脉之争已现高潮

英特尔在大数据时代的角色定位

在这方面,我们尤为关注服务器厂商之间的竞争。比如百年老店IBM、甲骨文、EMC、NetApp、戴尔,当然,也包括我们国内华为、曙光、浪潮等优秀企业推出的完整解决方案。不过我们需要了解的是,由于在前两次的IT技术革命中,我们国家并未掌握核心自主的东西,相比之下,更应该注重生态系统和应用软件的投入。

由于IT基础架构在高性能计算、大规模数据中心、乃至近年兴起的云计算发展热潮中,都能提供灵活高效的弹性平台支撑。技术上的成熟、产品上的多样化,在这片市场上的竞争已经陷入了白炽化的程度。因此,平台竞争,已容不下其他新角色,唯有谁强、谁弱的问题,而没有谁先谁后的担忧。

前面介绍的是传统意义上的基础架构平台之争,各个竞争对手都来自老牌的服务器、存储厂商。然而,大数据带来的市场更多的还是来自应用和软件层面。因此,不少传统的硬件设备厂商,在提供服务器、存储设备的同时,还专门推出面向海量数据处理、存储的一体化解决方案。

比如蓝色巨人IBM,曾在去年5月推出了InfoSphere大数据分析平台。该平台主要由BigInsights和Streams构成,前者基于Hadoop分布式文件系统,可对大规模静态数据进行分析,利用多节点进行分布式计算;后者利用内存计算技术对实时数据进行分析。

而甲骨文则推出了集成了硬件、存储和软件的大数据一体机Exadata X3。该产品被设计为能够与甲骨文Database 11g、Oracle Exadata数据库云服务器,以及针对商业智能应用的新的Oracle Exalytics商业智能云服务器一起协同工作。

大数据与谁共舞?时代命脉之争已现高潮

甲骨文 Exadata X3大数据一体机

存储巨头EMC, 推出大数据Greenplum统一分析平台(UAP)。它与甲骨文和IBM一体机或者一体化解决方案不同的是,它可对大数据的认知和分享贯穿整个分析过程,实现比以往更高的商业价值。

同时,我们还注意到该领域出现一种专有化的解决方案,专门针对大数据进行分析的创新产品。最具代表性比如有Sybase IQ,它是一款面向大数据的高级分析平台,使用了列式存储方式对数据进行分析和查询。另外,随着大数据而出现的“内存 计算”也逐渐进入了人们的视野。这方面颇具代表性的要数HANA和甲骨文的Exalytics,通过将大量数据装载在内存模块中,以更高的内存压缩技术和更快的实时处理,实现对海量数据的更高性能支撑。

大数据与谁共舞?时代命脉之争已现高潮

内存数据仓库Exalytics结构示意图

从这里我们可以看出,不妨将大数据的解决方案看成是“一体化”和“专有化”两个维度,这两个维度又分别体现着厂商所各自代表的产业生态链:一体化往往蕴含着厂商在服务器、存储、网络硬件层面的技术实力和成熟产品的基础上,通过与合作伙伴或者整合基于该硬件平台之上的数据分析工具,实现大数据的“打包式”解决方案。专有化延续着数据库厂商在该领域的独特优势,并通过对海量非结构化数据的智能分析,通过授权硬件平台或者单独以数据仓库形式呈现给用户。

“一体化”和“专有化”互相补充相得益彰,也是当今大数据市场竞争中,表现最为激烈也是最为直接的领域。相比之前谈论过的硬件平台领域,专门针对大数据的解决方案在影响力上来的更加直接。而我们也发现,这种解决方案在目前国内也涌现出了包括联想和华为等一批优秀厂商的产品,尤其是华为今年最新推出的UDS海量存储系统、HVS高端存储以及一体机等系列产品,专门针对大数据应用特点提供解决方案。

大数据,顾名思义其核心是“数据”,如果说基础架构和解决方案是针对大数据的“大”而提出的,那么“数据”则直接体现着的是大数据的精髓和价值所在。

利用“数据”包裹并进行有价值的投送,就成为了目前我们最为常见的各种应用和服务。君不见“天气预报”、“行为分析”、“销售统计”等等,都是利用海量数据进行处理、分析、提炼并以服务打包的形式呈现给用户。围绕数据做文章,在产业链中是直接面向用户并最终产生价值的一环,在大数据的整个生态系统中,也可以说是属于“金字塔”的顶层。

在大数据具体应用和服务提供商方面,就目前来说,主要有亚马逊、谷歌、阿里巴巴、沃尔玛等巨头和大数据服务公司。尤其是亚马逊,它在2009年的时候就开始推出了亚马逊弹性MapReduce(Amazon Elastic MapReduce)。这是一项能够迅速扩展的Web服务,运行在亚马逊弹性计算云(Amazon EC2)和亚马逊简单存储服务(Amazon S3)上大数据服务平台。与此同时,亚马逊还提供了数据分析的服务,通过Karmasphere Analyst可视化工作区模块,可实现数据分析和提取。

大数据与谁共舞?时代命脉之争已现高潮

亚马逊Amazon Elastic MapReduce服务套餐

搜索引擎巨擘谷歌,则更是与海量数据打交道的“老手”了。谷歌针对大数据推出了BigQuery的Web服务,可实现在云端就对大数据进行处理。该服务可为用户提供高达70TP未经压缩的数据扫描,并快速提交分析结果。从而实现在没有数据中心和数据仓库的情况下,用户也可以通过该平台来实现对海量数据的处理和分析。

大数据与谁共舞?时代命脉之争已现高潮

谷歌BigQuery支持一键分析TB级数据

作为中国最大的电子商务公司阿里巴巴,其实也在利用大数据为用户提供各种服务,其服务内容主要包括阿里信用贷款与淘宝数据魔方这两部分业务。淘宝数据魔方是淘宝平台的大数据应用方案。通过这一服务,商家可以了解淘宝平台上的行业宏观情况、品牌市场状况、消费者行为情况等,并可以据此作出经营决策。

类别 价格服务内容

数据存储 0.12美元(GB/月) 2TB以下

交互式查询 0.035美元(每GB) 2万条查询/天;20TB/天,下同

批查询 0.02美元(每GB) 同上

除此之外,华为、联想、沃尔玛也是或者即将是大数据的服务提供商。尤其是对于华为来说,近几年迅猛发展,已经构筑起完整的IT架构平台,推出了专门针对海量数据的存储系统和高端存储系统,也有一体机和IT网络通信产品、方案。在不久的将来,华为势必能担当起大数据服务商的重担。

相比前面介绍的大数据解决方案,这里的服务内容或者说大数据方案,其实更是一种定制化、甚至可在云端提供大数据处理、分析并最终以视觉化界面呈现最终结果,从而为用户的决策提供参考的一个服务流程。

在这个层面的竞争,更多的是基于对市场需求进行服务的竞争,不过这种服务多以现有的架构来执行。虽然目前国内涌现出不少基于大数据服务内容的企业,但相比整个市场而言,大部分还是由国外的几大巨头和一些极具成长活力的初创企业构成。在我们欣喜地看到大数据这块巨大蛋糕的同时,我们也要认识到自己的差距,并充分以市场为导向,挖掘大数据的各种应用需求,并抓住这些需求点抢占商机。

前面我们分别介绍了从底层的硬件平台、基于软硬件的解决方案和面向最终需求的应用服务,其实我们回过头来整体来看,大数据的出现并不是偶然的——大数据是因为人在经济社会中的各种行为特征和基于对世界的认识和改造而产生的各式各类的符号。

然而,信息技术越发达,利用智能设备的人也越来越多,也就是有越来越多的PC、平板、手机等智能设备,而通过这些设备产生的数据和处理的数据,在整个经济社会中的比例会随之增长。根据统计数据,2015年的互联设备数量将达到惊人的150亿台!也就是说,全球平均人手2个智能互联设备。而在这150亿台设备中,人机交互式的(比如PC、平板电脑、笔记本电脑、超极本等等)仅有30亿台,更多的是(120亿台)机对机连接。

大数据与谁共舞?时代命脉之争已现高潮

2015年将有150亿台互联设备

在这种情况下,人机“大战”的规模就更为客观了。交通信号的对各个路道信息的采集、智能城市和社区的视频监控收集的信息、物流、气象、科研等等海量数据,都在通过RFID电子标签和气象卫星、传感器来收集数据,这些数据最终通过数据中心进行数据分析、处理,将结果呈现给不同用户。

大数据与谁共舞?时代命脉之争已现高潮

大数据来源

而作为用户来说,在大数据的产生方面,主要体现在社交应用(包括博客、微博、社交站点等等)。进一步的,在人们的业务应用中,也会涌现出一批批海量数据集,这些数据集有来自于商业目的的行为本身,也有来自教育、科研、公益等行为。因此,从大数据来源的角度来看,人、机、业务都是大数据的重要源头。

自然而然的,人们很早就担心的一个问题“人机大战”不可避免。当然,这种“人机大战”并不是人与机器设备之间的生死较量,而是在未来大数据市场上,谁更占据主体、谁对大数据的影响更大的问题。这种问题,势必会导致“眼球经济”和注意力资源更加稀缺的出现。这样下去的结果就是,全球的人类和互联设备,都被淹没在“大数据的海洋”中,“大数据的海洋”上方的“天气”,并不是取决于“大数据”,而是取决于解决大数据问题的“设备”——基于底层架构和大数据分析处理平台的设备。而“人机”PK将直接演变成大数据与这种“设备”的PK。它们之间力量和地位的对比,直接体现着人类社会的智能化程度的高与低。这种对比走向,俨然成为了一个时代的命脉。而目前来看,时代命脉之争正不断升级……

共2页: [1]2 下一页
责编:毋小艺
vsharing微信扫一扫实时了解行业动态
portalart微信扫一扫分享本文给好友

著作权声明:kaiyun体育官方人口 文章著作权分属kaiyun体育官方人口 、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。
最新专题
流动存储 为大数据而生

伴随信息技术的突飞猛进,更大量级的非结构化数据与结构化数据构成的大数据成为企业级存储所面临的最大挑战:一方..

磁盘阵列及虚拟化存储

利用数组方式来作磁盘组,配合数据分散排列的设计,提升数据的安全性。虚拟化存储,对存储硬件资源进行抽象化表现。

    畅享
    首页
    返回
    顶部
    ×
      信息化规划
      IT总包
      供应商选型
      IT监理
      开发维护外包
      评估维权
    客服电话
    400-698-9918
    Baidu
    map