当证券行业遇到大数据：一站式方案或受欢迎

基础架构不能忽视

毫无疑问的是，大数据需要有优秀的数据分析工具和人才，但仅仅拥有诸如Hadoop、NoSQL等方面的软件或者专业人士是远远不够的。甚至，现在 有些用户本末倒置，过分强调或寄希望于大数据分析软件。追本溯源，如果一套好的大数据分析软件架构没有一个强有力的基础架构做支撑，那么用户也不能够充分 发挥出大数据挖掘潜力。而且，我们需要面对的是一个充满着结构化、半结构化、非结构化数据的复杂数据环境，这个全新数据环境正在对我们的基础架构带来深远 的变革和影响。”

图二：全球知名调研机构IDC公司 对全球数据增长以及数据类型分布情况的调研与预测。相对于传统的结构化数据，非结构化数据、内容数据的增长迅速，这也使得用户的数据环境变得日趋复杂，给用户的IT基础架构建设带来巨大影响。

大数据具有数据量特别庞大、数据种类特别复杂、处理速度要求快等特点，这些特点就决定了用户需要有着非常健壮的IT基础架构，并且值得关注的是，大 数据带动了企业将更多IT精力投入到数据分析这个层面，这也从侧面决定了起到支撑作用的IT基础架构需要具备更加出色的性能、更加良好的扩展性以及更加出 色灵活性，只有在灵活性、可靠性、高性能等方面有保障，才能够发挥出数据分析环境的潜能。从某种程度而言，大数据其实将吸纳进更多IT新技术到企业中，是 企业IT环境变得更加复杂，对IT基础架构也提出了更高的要求。中国惠普专家则表示：“大数据时代需要用户花费更多精力和人力去关注像虚拟化、 Hadoop、并行分析数据库、内存数据库、半结构化/非结构化数据搜索技术等。在IT资源有限的情况下，IT基础架构的建设和维护必须要可以轻松完成， 这样才能够花费更多精力和人员到数据分析上。”

对于证券行业而言，过去可能仅仅需要处理交易性数据，现在则需要快速处理来自各种社交网络的半结构化或非结构化数据；过去可能仅仅备份容量较少的结 构化数据，现在则需要应对海量数据的存储与移动；过去可能仅仅只需要单一类型IO的处理能力，现在则需要高的混合IO处理能力……这系列的变化使得券商在 服务器、存储和网络等基础架构环境都需要重新审视自身的基础建构是否合理和是否具有前瞻性。证券行业资深IT专家颜阳博士就表示：“国内有前瞻意识的券商 已经在一些转型，逐渐开始涉足一些非结构化或半结构化数据的处理。”

另外一个不容忽视的趋势是大数据是在云计算基础之上的数据分析与价值挖掘，开放平台是云计算到大数据一直贯穿始终的主旋律，开放的软硬件平台成为大 数据的不二选择。像X86基础架构具有天然的开放性、良好的扩展性、出色的性能以及可靠性，这些特点与大数据在基础架构上的需求天然契合。IDC中国企业 级系统与软件研究部高级研究经理周震刚就表示：“大数据会推动基础架构向Scale-Out架构发展。与传统数据处理方式不同，大数据由于在数据量上非常 庞大、数据类型比较复杂，使得大数据处理需要的是多节点、多CPU处理的方式，这意味着大数据时代发展方向是从Scale-Up想Scale-Out发 展。”

图三：大数据的特点。

中国惠普专家也表示：“通过惠普对证券行业多年的深入了解，证券行业用户在大数据时代需要更加易用的基础架构，以此保证有更多资源放在数据分析工 作；建议采用开放的架构和技术，比如工业标准服务器、虚拟化、Hadoop等技术，因为开放架构和技术在基础架构的灵活性、扩展性、管理性以及成本上都有 着长期优势；同时，建议采用软硬件组合放来来缩短系统建设周期、降低基础架构维护时间和成本。

行业用户：一站式大数据方案前景如何？

大数据处理技术层面上具有数据量特别庞大、数据种类特别复杂、处理速度要求快等鲜明特点之外，其实也带有着浓厚的行业背景。每个行业在自身的数据类 型特点、业务处理模式、应用类型特点等都千差万别，这是由自身行业背景所决定的，基于石油行业的大数据解决方案定然不会适合金融证券行业领域。

图四：全球知名咨询机构麦肯锡对美国不同行业的大数据相关业务特性做出的统计，每个行业在整体价值潜 力、数据量、波动性、供销伙伴数量、交易密度、行业波动性都有着区别，金融证券行业在整体价值潜力、数量量、绩效波动性、交易密度上都名列前茅，这意味着 金融证券行业的大数据解决方案需要更加关注这些方面。

我们会发现当前在大数据领域有着较为深入应用的都是互联网或者电信行业，这些行业用户对自身业务了解较深、且具有强大的IT团队和IT开发能力，使 得自身的大数据方案上有着更多灵活的选择。事实上，很多行业在IT团队和IT能力上并不能像互联网或电信行业那样，很多大数据所有工作都由自身团队来完 成。正是出于这种现实情况，目前很多厂商包括惠普、EMC、IBM、Oracle也相应推出了针对不同行业的一站式打包整体解决方案，来满足很多没有较强 IT能力的行业用户在大数据方面的需求。

从本质上来看，企业用户在商业决策中需要的是一个包含了灵活可靠的基础架构、功能强大的数据分析能力与经验丰富的行业分析能力的大数据综合性解决方 案，仅仅依靠几套开源软件和设备是不能满足企业在商业决策上的长久需求。IDC中国企业级系统与软件研究部高级研究经理周震刚就表示：“从传统概念来讲， 大数据非常复杂，无法形成打包好的分析应用解决方案。不过在未来几年中，某个行业的应用会形成一个共性，厂商们会基于这个共性打包出一些大数据的解决方案 推向这些行业用户。”

惠普中国专家也表示：“一个开放、灵活、强大、即买即用的大数据解决方案是行业用户所需要的。一站式或者说打包的大数据解决方案一定会是未来的趋 势，打包性的方案会让行业用户将更多精力放在数据分析以及数据价值挖掘上，从而真正让IT部门从一个附属部门变成价值生产部门。惠普的大数据打包方案包含 了最优秀的软硬件产品、开放式架构以及惠普在大数据领域的经验和实践。”

对于证券行业用户而言，受到市场周期、交易波动影响较大，经过长期的IT建设，有着一定规模的IT团队和IT能力，但受制于各种因素，在大数据解决 方案方面，不可能完全依靠自身的IT团队就能够有效构建出符合自身公司的方案。一站式或者打包的大数据解决方案如果能够具有性能出色、扩展灵活的硬件架 构、厂商能够在打包方案中对软硬件进行底层优化之外，保持整个方案的开放性和易维护性，使得证券行业用户能够自主后续开发，那对于证券行业的用户而言不失 为一种最佳选择。