TDH4.2实现分布式事务处理新突破,国产大数据平台大幅领先

来源:企业网  
2015/10/14 10:26:12
近日,星环科技的Transwarp Data Hub大数据平台再次更新。

本文关键字: 大数据
近日,星环科技的Transwarp Data Hub大数据平台再次更新。最新发布的TDH 4.2,基于过去的产品作了全面的改进,其性能在业内已处于国际领先地位。尤其是对SQL的支持上,它实现了99%的SQL 2003支持,唯一支持PL/SQL的引擎(98%),唯一支持ACID分布式事务的SQL引擎;第一个支持SSD的基于Hadoop的高效计算引擎;支持多种主流报表工具和ETL工具,定位数据仓库和数据集市市场,可用于补充或替代Oracle、DB2等分析用数据库。支持索引、全文检索,支持图数据库和图算法,支持非结构化数据存储等。同时,支持最多的分布式统计算法和机器学习算法,同时整合超过5000个R语言算法包,适合金融业风险控制、反欺诈、文本分析、精准营销等应用。TDH的产品架构图如下:
 
 
Transwarp Discover
 
TDH 4.2 推出了全新的数据挖掘产品Discover,整合了R语言运行环境、RStudio图形化开发环境,包括了55种新开发的分布式机器学习算法以及R语言原生的数千个算法包,为用户提供了全面的数据分析和挖掘工具。Discover可以和Inceptor无缝连接,采用R语言原生的Data Frame接口和函数进行SQL操作。此外Discover支持基于LDAP和Kerberos的安全认证机制以及访问控制,保证了数据的安全性。
 
Transwarp Inceptor 4.2
 
Inceptor 4.2在分布式事务处理上取得新突破,可以满足数据仓库和数据集市市场上的数据一致性和高可用性要求。Inceptor 4.2支持串行化和可串行化的快照隔离两种数据隔离方式,支持容错机制保证系统高可用性。
 
Inceptor 4.2增强了数据增删改方面的功能,增加了对分区表的事务支持,加强了复杂的CRUD与Merge Into的语法支持,并优化了事务表的统计性能。
 
在PL/SQL的支持上,Inceptor 4.2完善了更多功能来帮助开发人员提高开发效率,包括支持函数重载,任务的显示与关闭,精确的报错信息等,并解决了高并发情况下的一些问题。
 
在可用性方面,Inceptor 4.2增加了对Parquet文件的支持,并解决了Metastore的高可用性问题。此外,Inceptor 4.2支持通过SQL设定多租户的硬盘、内存和CPU等资源的配额,支持LDAP & Kerberos 集成认证等,确保数据的安全和平台的可管理性。
 
Transwarp Stream 4.2
 
Transwarp Stream在系统高可用性上做了更多的增强。Stream 4.2 新开发了Lazy Receiver进行流控,防止一直读数据导致任务崩溃后,出现大批数据丢失的情况;也支持流任务在发生失败后自动重启。此外,Stream 4.2正式增加了WAL (Write-ahead Log)功能,保证系统的高可用性。
 
TDH 4.2 提供了更多的组件和服务,包括可视化的交互工具HUE,数据装载工具Sqoop2,任务调度工具 Oozie 4.2,以及Hyperbase数据加载工具SQL Bulkload等。此外,全部组件都支持Kerberos & LDAP安全控制,保证所有组件的任务和数据安全。
 
为了更生态圈更好的对接,Inceptor 4.2发布了Linux版本ODBC,并且所有版本的JDBC/ODBC都支持基于Kerberos或LDAP的安全控制。此外,TDH 4.2加强了跟业界的整合,已经原生支持ETL工具DataStage 11.3等工具。
 
星环科技是目前国内极少数掌握大数据核心技术的高科技公司,专注于企业级大数据核心平台数据库软件的研发与服务。公司产品Transwarp Data Hub (TDH)以其业界最完整的SQL on Hadoop支持; 独特的对分布式ACID数据一致性支持;以及对SSD优化提高集群性价比等特点,比肩硅谷同行。产品的功能和性能在业界处于领先水平。在全球去IOE的大背景下,TDH已成为在数据仓库,数据集市等领域替代传统数据库公认的大数据产品。
责编:胡雪妍
vsharing微信扫一扫实时了解行业动态
portalart微信扫一扫分享本文给好友

著作权声明:kaiyun体育官方人口 文章著作权分属kaiyun体育官方人口 、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。
最新专题
流动存储 为大数据而生

伴随信息技术的突飞猛进,更大量级的非结构化数据与结构化数据构成的大数据成为企业级存储所面临的最大挑战:一方..

磁盘阵列及虚拟化存储

利用数组方式来作磁盘组,配合数据分散排列的设计,提升数据的安全性。虚拟化存储,对存储硬件资源进行抽象化表现。

    畅享
    首页
    返回
    顶部
    ×
      信息化规划
      IT总包
      供应商选型
      IT监理
      开发维护外包
      评估维权
    客服电话
    400-698-9918
    Baidu
    map