TurboDX 提供元数据目录、异构数据库复制、实时同步、交换整合及跨网络远程通道传输服务等集成一体化的功能,可用于数据复制、数据同步、读写分离、实时ELT、数据汇聚整合、数据分发、数据API服务、大数据集成(mpp、hadoop、kafka)等应用场景。这些需求功能的解决,过去往往由市场上某个单一的产品提供各别点上的功能,如传统的复制工具,或者某些厂商的产品如Oracle GoldenGate (OGG)、ODI、IBM Infosphere CDC、Informatica等ETL工具产品方案。这些产品往往价格十分昂贵,配置和使用十分复杂,且难于与其它厂商的产品实现集成。 数贝公司自主研发的TurboDX,采用最新的基于Web、流处理和微服务的架构技术,满足各种不同应用场景的统一使用和监控管理需求。复杂技术简单易用化、场景化设计是TurboDX的核心设计思想,用户通过点击几下web图形化页面操作,就能实现各种数据交换同步/整合的应用场景,数据实时性和交换效率高,实现可自主管理和自助服务的数据交换管理。
主要功能特点:
○ 异构数据库复制同步,包括全量和实时增量CDC任务,支持Oracle(RAC)、SqlServer、MySql、PostgreSQL、Informix、DB2、SAP Hana、Greenplum、Vertica、Doris、Clickhouse、ArgoDB、云RDS、GBase 8s/8c/8a、GaussDB/GaussDWS、TiDB、Oceanbase、TDSQL、SequoiaDB、达梦DM、Kingbase、HighGo、UXDB、MogDB等关系库/MPP仓库、以及NoSQL和大数据平台包括:Hadoop/Hive/Hbase/Kudu、Kafka、Mongo、ElasticSearch、CDH、HDP、星环TDH、华为FI等各厂商的大数据平台;
○ 支持无侵入性日志CDC实时增量数据获取功能。CDC功能支持的源端数据库包括Oracle(RAC)、SqlServer、MySql、PostgreSQL、云RDS、Informix、DB2、SAP Hana、Gauss、达梦DM、Kingbase、GBase8s、TiDB、Oceanbase、TDSQL、HighGo、MogDB、UXDB等;
○ 支持日志CDC、以及对物理表、逻辑视图实时增量、自定义SQL的交换、多表整合;
○ 支持BS图形化的表级、字段级映射转换和记录级的数据过滤,以及提供各种预制函数和用户自定义函数处理,自动匹配映射关系和数据类型;
○ 支持BLOB、CLOB等大字段、以及大事务的处理;
○ 支持DML、DDL复制及事件处理、以及动态表的创建和复制;
○ 支持Oracle逻辑视图实时增量并保证数据一致性,解决重型软件的读写分离痛点;
○ 支持数据双向复制(双写),以及智能冲突解决策略;
○ 支持数据过滤功能,过滤条件支持复杂的逻辑和正则表达式;
○ 支持按设置规则对同步交换的数据审核、清洗功能,审核规则可自定义;
○ 支持对源和目标数据比对(校验)及报告、回补功能;
○ 支持WS/REST服务双向对接功能;
○ 支持字段语义和敏感信息机器识别、数据脱敏功能;
○ 支持跨节点数据远程通道MQ传输服务,以及支持数据传输的加/解密、压缩等安全功能;
○ 支持高效的数据库1对多数据同步分发功能;
○ 支持高效的非结构化文件实时同步和分发;
○ 支持数据文件(txt、csv、excel、json、xml)加载数据库/数仓和数据库全量及增量导出/导入数据文件;
○ 支持MPP数仓/数据湖、Hadoop、Hive、Hbase、Greenplum、GaussDWS、Gbase8a、ArgoDB、Doris、Starrocks、Clickhouse、MongoDB、Elasticsearch、Kafka等、以及各厂商的大数据平台集成;
○ 支持按应用系统处理事务的时间次序交换数据,保证业务数据的完整性和一致性;
○ 采用多线程内存流处理技术,实时交换性能高。数据库记录传输可达30000条/s或20M/s,文件传输40M/s,实时数据同步延时秒级。
○ 采用完全的web图形界面配置,操作简单易用、自主管理和服务;
○ 提供图形化的交换任务实时监控和完整的日志管理;
○ 支持HA高可用性/负载集群版,集群节点互为热备,实现高可用和负载均衡以及自动故障转移/恢复;
○ 可无縫升级为企业级多租户的SaaS服务平台使用模式;
○ 产品提供商业信创版/SaaS多租户版。
○ 异构数据库全量FullLoad复制任务配置及运行
○ Oracle、MySql、SqlServer、PG 日志扫描增量CDC实时同步任务配置及运行
○ Oracle数据库多表视图实时增量读写分离任务配置及运行
○ 任务自动调度
○ 任务运行及监控管理
数据库日志扫描的非侵入式(CDC)数据增量获取技术,无需在应用系统数据库端部署任何代理(Agent)程序,对应用系统的运行影响降到几乎为零“Zero-Footprint”,这个特性对许多业务核心应用系统是至关重要的。
直观易用的web用户界面是TurboDX区别于其它同类产品的重要特色。TurboDX屏蔽了数据交换复杂的操作过程,无需高级DBA或技术人员提供咨询或编写不透明的定制脚本代码,通过点击几步界面操作,就可实现数据交换复制/整合的应用场景。
国内首创基于Web、内存流处理和容器的技术架构,灵活性可扩展性强,交换性能高。数据库记录传输可达30000条/s或10M/s,文件传输可达40M/s。 TurboDX可以部署于本地或云中,是实现数据中心必不可少的工具化平台。
TurboDX 可用于数据复制、数据实时同步、数据备份、数据迁移、实时ETL/ELT、数据汇聚整合、读写分离(支持逻辑视图增量)、数据分发、数据服务、大数据/数据湖集成加载及实时流处理(kafka)等应用场景,并满足各种不同应用场景的统一使用和监控管理需求。
利用安全的远程通道服务,可实现跨网络节点之间的安全数据交换,并可以与第三方数据通道如MQ服务对接。TurboDX采用数据压缩、WAN多线程传输加速技术,实现跨网段的高速数据交换。
采用先进的数据虚拟化(Data Virtualization)和元数据(MetaData)技术,实现对数据的梳理、元数据目录、数据样例和数据关系的查看分析、形成数据资源目录管理和数据交换的统一管理和应用"一张皮”。
版权所有©️2016 北京数贝软件科技有限公司 京ICP备14032596号-1