TDH4.2实现分布式事务处理新突破,国产大数据平台大幅领先

近日，星环科技的Transwarp Data Hub大数据平台再次更新。最新发布的TDH 4.2，基于过去的产品作了全面的改进，其性能在业内已处于国际领先地位。尤其是对SQL的支持上，它实现了99%的SQL 2003支持，唯一支持PL/SQL的引擎(98%)，唯一支持ACID分布式事务的SQL引擎;第一个支持 SSD的基于Hadoop的高效计算引擎;支持多种主流报表工具和ETL工具，定位数据仓库和数据集市市场，可用于补充或替代Oracle、DB2等分析用数据库。支持索引、全文检索，支持图数据库和图算法，支持非结构化 数据存储等。同时，支持最多的分布式统计算法和机器学习算法，同时整合超过5000个R语言算法包，适合 金融业风险控制、反欺诈、文本分析、精准营销等应用。TDH的产品架构图如下:

Transwarp Discover

TDH 4.2 推出了全新的数据挖掘产品Discover，整合了R语言运行环境、RStudio图形化开发环境，包括了55种新开发的分布式机器学习算法以及R语言原生的数千个算法包，为用户提供了全面的数据分析和挖掘工具。Discover可以和Inceptor无缝连接，采用R语言原生的Data Frame接口和函数进行SQL操作。此外Discover支持基于LDAP和Kerberos的安全认证机制以及访问控制，保证了数据的安全性。

Transwarp Inceptor 4.2

Inceptor 4.2在分布式事务处理上取得新突破，可以满足数据仓库和数据集市市场上的数据一致性和高可用性要求。Inceptor 4.2支持串行化和可串行化的快照隔离两种数据隔离方式，支持容错机制保证系统高可用性。

Inceptor 4.2增强了数据增删改方面的功能，增加了对分区表的事务支持，加强了复杂的CRUD与Merge Into的语法支持，并优化了事务表的统计性能。

在PL/SQL的支持上，Inceptor 4.2完善了更多功能来帮助开发人员提高开发效率，包括支持函数重载，任务的显示与关闭，精确的报错信息等，并解决了高并发情况下的一些问题。

在可用性方面，Inceptor 4.2增加了对Parquet文件的支持，并解决了Metastore的高可用性问题。此外，Inceptor 4.2支持通过SQL设定多租户的硬盘、内存和CPU等资源的配额，支持LDAP & Kerberos 集成认证等，确保数据的安全和平台的可管理性。

Transwarp Stream 4.2

Transwarp Stream在系统高可用性上做了更多的增强。Stream 4.2 新开发了Lazy Receiver进行流控，防止一直读数据导致任务崩溃后，出现大批数据丢失的情况;也支持流任务在发生失败后自动重启。此外，Stream 4.2正式增加了WAL (Write-ahead Log)功能，保证系统的高可用性。

TDH 4.2 提供了更多的组件和服务，包括可视化的交互工具HUE，数据装载工具Sqoop2，任务调度工具 Oozie 4.2，以及Hyperbase数据加载工具SQL Bulkload等。此外，全部组件都支持Kerberos & LDAP安全控制，保证所有组件的任务和数据安全。

为了更生态圈更好的对接，Inceptor 4.2发布了Linux版本ODBC，并且所有版本的JDBC/ODBC都支持基于Kerberos或LDAP的安全控制。此外，TDH 4.2加强了跟业界的整合，已经原生支持ETL工具DataStage 11.3等工具。

星环科技是目前国内极少数掌握大数据核心技术的 高科技公司，专注于企业级大数据核心平台数据库 软件的研发与服务。公司产品Transwarp Data Hub (TDH)以其业界最完整的SQL on Hadoop支持; 独特的对分布式ACID数据一致性支持;以及对SSD优化提高集群性价比等特点，比肩硅谷同行。产品的功能和性能在业界处于领先水平。在全球去IOE的大背景下，TDH已成为在数据仓库，数据集市等领域替代传统数据库公认的大数据产品。