大数据时代 分析成老大难

11月8日，截止到2011年底，全球网民数达22.67亿;截止到2012年6月，中国网民达5.38亿。庞大的网民每时每刻产生大量的数据，据统计：每一分钟全球电子邮件用户共计发出2.04亿封电子邮件;谷歌会处理200万次搜索；Facebook用户会共享68.4万比特的内容……同时，同时，目前用户在网上不仅仅是资讯，同时用户发微博、上传照片、上传视频等，导致数据类型呈现多样性。用户所产生的数据量还将呈现出爆炸式的增长态势，大数据时代已经来临。

在用户的数据量在成几何级数增长的同时，无可否认海量用户数据将会创造出巨大的价值，巨大的价值来源于对大数据的分析，但从目前来看，大数据处理和分析的能力远远没有跟上，如何存储、检索、清理和分析大数据是难题。

在大数据储存和备份方面，许多互联网企业单日数据量以出现数十、数百TB(1TB=1024GB)速度的增加，而总数据量已达PB(1024TB)等级，其数据量已让传统的数据库难以储存大数据。同时对企业来说，数据备份是至关重要的，缺乏数据备份可能会到导致企业毁灭性打击。目前大数据时代数据量爆炸式增长增加了备份和恢复的时间，存储设备又是有限的，数据备份和恢复将越来越困难，同时得考虑数据储存和备份如何节省电力、节约空间、节约成本等问题。

在大数据分析之前，必须对数据进行清理，包括检查数据一致性、删除重复值、处理无效值和缺失值等，对大数据来说，也包括的海量数据“噪音”，利用传统的数据分析软件来清理这些“噪音”，难度较大。同时，需要快速把大数据中的核心数据抽取出来，高效分析这些核心数据，需要建立高级分析模型，只有对核心数据进行复杂分析，发现趋势和隐藏的信息，才能使大数据真正发挥作用，才能让企业洞察和发现商机。大数据挖掘需要软硬件结合，这对软件、硬件和人才提出了较高的挑战。

另外，大数据可视化也是难点。大数据可视化就是将大数据分析结果转化为公司能够使用的信息。只有大数据分析结果通过可视化处理后，非数据分析专业人士能够充分理解语言、图表等表述出大数据所蕴含的信息，才会给公司带来的价值。大数据所包含的数据量大，数据类型纷杂，数据模型复杂，数据结果抽象，可视化难度也较大。

大数据分析专业人才缺乏。大数据时代对数据分析师的要求更高，甚至会产生新职位，例如数据科学家，CDO(首席数据执行官)、数据可视化人员和数据调整代理人等，目前来看，大数据分析职位没有具体的从业标准。但是大数据分析师必须要涉足多个领域，至少需要下面四个方面的技能:技术(软件和系统等)、数学(统计、建模和算法等)、商业分析(从事领域的相关知识)和可视化(语言和图表等)，目前一般业务用户分析师或传统的数据分析师仅具备上面一个或两个技能，并不具备开发预言分析应用程序模型的技能。

“大数据”已经降临，大数据所带的难题也将在探索中得以解决。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友