国内首个一站式大数据平台星环出世

2014年4月10日消息，在中国数据库技术大会上，星环信息科技(上海)有限公司(以下简称“星环科技”)正式推出Transwarp Data Hub 3.0，--含最热门的Hadoop 2.2，Spark，内存分析引擎，再次走到大数据平台技术的前沿。

此次Transwarp Data Hub3.0在之前全面支持Hadoop 2.0和Spark技术的基础上，增加了全面支持PL/SQL和R语言的交互式分析引擎Inceptor，实时在线处理引擎Hyperbase和流处理引擎Transwarp Stream。

据了解，Inceptor分析引擎为数据仓库和交互式数据分析挖掘应用而设计，一旦数据导入Inceptor，无需编程，即可使用 BI和可视 化工具进行交互式数据探索和统计分析，使得Hadoop大数据平台的使用难度大大降低。据星环科技联合创始人兼CTO孙元浩介绍，Inceptor技术架构上由分布式内存列式存储引擎、改进的Spark计算引擎、PL/SQL编译器以及R语言并行算法库组成。其突出特点是性能快、应用迁移方便、并行数据挖掘能力强。当数据被Inceptor缓存在内存或者 SSD中时，SQL执行性能已经大大超过主流的MPP数据库和传统关系数据库。Inceptor支持大部分PL/SQL以及SQL’99标准，相比Hadoop社区版和Cloudera Impala，SQL支持更加完整，这使得Inceptor可以容易地进入数据分析类应用市场。而对R语言的支持使得用户可以通过R编程语言访问分布式内存，并且可以运行常见的分类、聚类等算法的并行化版本，加快了数据挖掘的效率，同时整合图形化工具RStudio也使得R语言的开发更方便。

“Inceptor已经应用在电信、 金融和电商等行业的数据分析业务中。因为执行性能非常快，有的客户已经把Inceptor作为7x24在线业务的一部分，通过Inceptor准实时计算CDN缓存数据的热点分布，并快速调整前端CDN 服务器的缓存策略，从而自适应地提高缓存的命中率。”孙元浩表示。

Hyperbase的推出主要为了解决HBase存在的缺乏索引检索和离线分析低效的两大问题。“虽然HBase基于主键的在线查询很快，但国内多数用户希望单个集群能够同时支持OLAP在线查询和批处理分析两种不同的业务，也能够根据其他非主键字段进行快速检索”。Hyperbase通过高速快照扫描、YARN资源管理以及三种不同索引技术较好地解决了上述问题。

“过去一年Hadoop技术得到了广泛的认可，以电信和 银行为代表的众多行业都开始了不同规模的使用。用户也明显体会到了Hadoop平台的潜力。”星环科技CTO孙元浩表示，“同时，当用户逐渐把新 数据存储在Hadoop集群和把现有数据迁移到Hadoop集群时，会面临各种场景，也同时会面对大数据，中数据和小数据各种应用共存的情况。这也是传统MPP数据库+Hadoop混合架构这种过渡方案出现的原因。但实际上，这种混合架构不仅大大增加了企业IT系统的复杂程度，也使得企业随时面临数据迁移的棘手问题。对Hadoop的持续改进完全可以解决Hadoop只能处理大数据和对现有应用迁移困难的问题。这也是Transwarp Data Hub3.0的目标。通过内存计算、高效索引、执行优化和高度容错的技术，使用户能得到一站式的数据处理平台，从小数据(GB)、中数据(TB)到大数据(PB)都能够平滑过渡和扩展，无需采用复杂的混合架构。”

据记者获悉，星环科技已经在国内多个行业建立大数据上线案例，产品和服务得到客户的普遍认可，目前公司业务正在快速扩展，已在北京等地设立办事处，正在大量招聘大数据技术人才。