调查发现新工具驱动大数据分析数据挖掘

数据仓库研究所(TDWI) 即将发布的一项报告显示，新技术使得企业能够在非常大和种类非常多的数据集上执行越来越复杂的数据分析。

该报告是基于来自大、中、小型企业的325位IT经理、业务用户和咨询师的调查响应。略多于三分之一的受访者表示，他们正在大数据上运行某种形式的高级分析 — 大部分用于商业智能（BI）中预测分析、数据挖掘、统计分析的任务。接近45%的受访者预期大数据分析会使更精确的业务洞察力成为可能，同时有38%的人正希望使用这种技术能更好地认识销售及更好地抓住市场机会。超过60%的人希望大数据分析能提高企业的社交媒体市场营销能力。

据数据仓库研究所(TDWI)调查，大数据分析上增长最快的用例是高级的数据可视化。越来越多的企业正在大数据集上运行复杂的分析工具，以建立数据的高度复杂的可视化表示。

“在企业设法管理大量的数据时，大数据常常是一个技术问题，” 数据仓库研究所(TDWI)分析师及该报告的作者Philip Russom说。“现在，如果你对大数据运用分析，可以从中获得许多你无法从传统的商业智能（BI）和数据仓库技术中获得的信息。“术语“大数据”指的是非常大的数据集，经常是数以百计的TB（terabytes）或PB（petabytes）字节的规模。该术语越来越多地用来描述不仅仅是大量的结构化数据，而且也包括如网上博客，点击数据，机器和传感器的数据和社交媒体数据这样一些非结构化的数据。

在许多情况下，企业一直以来囤积大量由呼叫中心、RFID芯片、供应链应用系统、和数据的编制，应用，和物流工具所编辑的数据，但是没有好的手段来获取它，Russom说。

现在，技术的进步结合存储和硬件成本的急剧下降，让企业可以快速而有效地存储、管理和分析大量的多种多样的数据。越来越多的企业从大量详细的、错综复杂的数据中筛选出他们在过去不知道或还不能认别的事实和模式。

在这些任务中对他们有所帮助的是来自如Aster Data, GreenPlum, Teradata, Netezza, ParAccel , Vertica 和SAP的专门的数据库和数据分析技术。来自这类供应商的产品以新技术和创新为特点，可以解决一些老的数据库技术中的局限性。新技术包括内存数据库、纵列、大规模并行处理分析技术和紧密捆绑的设备，允许人们以之前根本不可能的方式进行存储、管理和检索大数据。

开源工具，如Hadoop和MapReduce也给出企业新的方式来处理大数据。

“分析工具和数据库现在可以处理大数据。他们也可以最高记录地执行大的查询和分析表，”Russom在他的报告中说。“新一代供应商的工具和平台已将我们推上了一个新的性能水平，对应用系统来说非常引人注目就包括大数据。”

对大数据实施一种高级分析能力并非没有挑战，数据仓库研究所(TDWI)的报告指出。

超过45%的受访者表示，对大数据分析最大的障碍是熟练的专业人士的严重短缺。雪上加霜的是新的分析应用系统所需要的技能区别于那些在传统商业智能（BI）和数据仓库上所需要的技能，报告指出。

报告指出，缺乏业务支持和与实施大数据分析相关的整体成本是另一些主要的障碍,。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友