新一代跨部门数据共享交换平台的技术特点和应用服务模式

2017年11月17日
Synball
(c) CC0 Public Domain / unsplash.com

     跨部门数据共享交换平台是实现智慧城市数据中心以及跨部门异构系统的数据共享交换与整合、为智慧应用提供数据共享交换服务支撑的必要基础设施平台。平台应提供数据共享交换功能和多种面向中心和各部门使用用户(使用用户包括各部门的应用系统开发商、中心和部门交换业务和数据管理人员、业务领导等)的多用户体系的数据交换业务应用和管理服务模式,满足中心和各部门接入平台的管理需求,并具有较强的可扩展性,能够支撑跨部门信息资源的实时共享交换和接入管理。

     陈旧传统的跨部门信息资源共享交换平台一般采用部署部门前置机的中间件技术架构方案。在这种架构中,为了避免部门之间直接的数据库访问及访问权限的约束,在部门接入端均部署前置库。这种架构存在一些弊端。比如,对共享交换平台的建设方来说,平台不支持数据端到端可达(半拉子工程),部门接入的数据均需落地前置库(人为引入不必要的过多环节、造成成本、数据时效、数据管理、数据安全等一系列问题),数据交换实施接入周期长,共享交换应用效果缓慢;前置库造成数据安全隐患、维护职责不清;跨部门共享交换模式单一,平台管理部门需介入各接入部门的数据业务规则,工作量大、责任大。对接入部门来说,平台不支持前置库与部门业务系统间"最后一公里"的数据桥接联通,需定制开发或采购第三方工具,存在周期长、成本高、难于满足部门对接入的管理、易用性差等弊端;另外,由于需要支持不同的项目,接入部门可能部署多个前置机,带来前置机(库)运维工作量、成本和复杂度的增加;平台未提供面向部门使用的统一数据接入管理、交换任务管理和运行监控等面向部门应用系统开发商以及部门业务管理人员使用的技术接入配置和交换业务管理的功能。在云部署的环境下,各部门前置机(库)的共享交换平台架构方案显然不能适应集约化、云服务化的趋势要求。

    某些中间件厂商提供的所谓交换“平台”或者技术集成产品,本质上是多个中间件产品堆砌的工具级解决方案,没有从系统使用的角度考虑平台的使用用户类型(包括平台交换管理中心、数据拥有者和提供方部门、数据使用者接收方部门)、用户和数据权限(功能使用权限和数据访问权限)以及各方的管理需求(如交换任务配置管理服务、数据接入管理服务、监控管理服务等),难于形成系统化、体系化的整合运用,不能为用户提供一个“搭建即可用”的系统平台,往往预计还需要周期长、成本高昂的二次开发,但由于采购的中间件集成产品在架构、开放性、原厂商配合、以及工作量和成本方面等等问题,将采购的某些中间件产品打造成一个满足需求、实际可用的服务平台系统几乎成为了项目一个不可能完成的任务(造成了极大的浪费),更谈不上共享交换平台作为基础设施平台所要求的多用户体系服务功能、以及对整体性、可靠性和易用性的要求。。

    基于数贝公司自主研发的新一代分布式数据集成产品TurboDX Plus Service的共享交换平台完善了上述共享交换架构,无需前置库,便可实现平台以及任意多个部门间的即时联通,支持数据端到端实时可达、可视化监控管理等功能。基于TurboDX的数据共享交换平台是一款基于B/S架构的、高性能的、简单易用的、支撑跨部门数据共享交换应用以及为多部门用户服务和管理的系统平台,支持结构化数据和非结构化数据的接入、传输交换、整合,具有较强的可扩展性和支撑各种共享交换业务模式的能力。

平台技术特点:

  • 技术架构先进

          国内首创基于Web、内存流处理和容器的技术架构,灵活性可扩展性强,交换性能高;可以部署于本地或云中。

  • 数据传输高效、安全、可靠

          支持数据压缩、WAN多线程传输加速,实现跨网段的高速数据交换。支持远程安全通道服务,有效分离源和目标数据库权限,实现跨网络节点之间的安全数据交换。支持数据加/解密和数据远程传输的可靠性、断点续传和"传且传一次"的特性。

  • 系统运行影响低

          数据库日志扫描的非侵入式(CDC)数据增量获取技术,无需在应用系统数据库端部署任何代理(Agent)程序,对应用系统的运行影响降到几乎为零。

  • 数据资源目录管理和数据交换“一张皮”

          采用先进的数据虚拟化和元数据技术,实现对数据的梳理、元数据目录管理、数据查看分析、数据整合视图,形成数据资源目录管理和数据交换的统一管理和应用“一张皮”。

  • 可扩展性较强

          具有较强的可扩展性,能够根据交换业务量扩展TurboDX服务器节点,从而提高业务处理能力;接入节点部门能够根据业务发展需要,作为领域牵头部门或区域内高层级的部门,将接入网关升级扩展成为领域数据交换中心,支持领域共享交换应用或行业内垂直部门共享交换应用。

平台优势和特色:

          相比当前普遍采用的前置机(库)架构的数据共享交换平台,基于TurboDX的数据共享交换平台的优势体现如下:

  1. 平台部署完毕即可实现跨部门数据端到端可达,各个接入部门不需再单独解决业务库到前置库的"最后一公里"联通问题。
  2. 支持接入配置工作合理安排到各接入部门,满足接入部门数据安全访问和管理需求,同时减少中心集中的接入配置工作量和责任。
  3. 为接入部门提供统一接入数据网关,避免一个部门需要N个前置机的情况,也不再需要前置库,减少前置机和前置库的购置、维护成本,避免前置库数据维护职责不清的情况发生。
  4. 为接入部门提供了统一的工作界面和工作平台,支持接入部门实现接入配置、运行监控。

          基于TurboDX的数据共享交换平台的特色主要体现在如下三方面

  1. 充分体现管理要素。为交换中心端和部门接入端管理方均提供工作平台;提供多层次的监控功能,确保交换业务运行稳定、可靠、可管、可控,数据可跟踪;提供多种应用服务模式,满足不同管理需求,将接入管理工作按职责合理分割,各方职责边界清晰。
  2. 简单易用。平台提供简单易用的B/S用户界面,屏蔽了数据交换复杂的操作过程,通过点击几步界面操作,就可实现数据交换共享,因而支持部门快速接入,降低接入成本;此外,平台提供直观图形化的数据接入管理、监控管理。
  3. 高效安全。采用先进技术架构和数据传输技术,数据库交换效率可达30000记录/或10M/秒;文件交换效率可达40M/秒。通过引入管道服务,能够有效分离源和目标数据库的访问权限,提高数据库访问安全。


版权所有©️2016  北京数贝软件科技有限公司    京ICP备14032596号