大数据时代的数据共享与交换平台
高效处理引擎,强大的缓存机制,流式质量控制,动态数据脱敏
直观的图形界面,自动化配置与运维
开发人员只需在图形化环境中通过拖拽方式就可以描述复杂的数据变换和任务流程,不需要进行任何编码,业务人员也可非常容易的了解数据的流向
调度及相关配置简单、灵活、易用;支持灵活的、多角度的模型作业调度机制,包括事件、数据库就绪、文件到达和计划调度以及手工触发
提供了总揽全局的总体监控和明细型的计划监控以及事件监控;可视化的多维度作业运行监控,使得良好的易用性获得推广;提供调度环境多个DI引擎的资源监控,包括CPU占用、内存使用、磁盘空间等信息
完善的资源监控功能,可以对管理服务器、调度服务器、代理服务器以及物理机器的CPU、内存等资源进行全面的监控和管理,另外也通过配置监控服务器的连接状态等
在构成一个作业流的诸多作业中,可以对每一个作业依据参数、作业执行状态、作业返回码等要素进行控制,从而实现对作业流更精准和复杂的控制,满足实际项目多种运用场景的需要。
支持主流数据库;能自动生成ETL Job、存储过程以及DI数据处理模型,提高开发效率,规范开发过程。
强大的数据转换效率,执行能力使其所能处理数据的速度可以得到趋近于线性的扩展,轻松处理大量数据。提供集群服务,大规模并行处理使其能够适应大规模企业级应用,具有很高的扩展性。
一个数据处理模型在一组引擎上运行的时候,可以通过配置实现模型的均衡负载运行,发挥DI引擎的处理能力,以及协调集群的处理能力,提高数据处理的吞吐率。
提供了简单易用的二次开发接口,用户可以很容易的定制开发各种数据转换和任务组件,并能在应用中实现调用执行
图形化的调试和监控工具,可以直观显示任务的执行,可以实时检测系统在各环节的数据处理性能,并以曲线图的方式显示。
提供了基于时戳、基于触发器、全文比对等各种方式的变化数据捕获机制,提供批量抽取、实时抽取、定时抽取等各种数据抽取执行策略。
平台采用Java开发,可以运行在多种操作系统;支持多种数据源。
快速通过模型设计器或者作业自动化生成工具实现数据处理模型,完成数据库、半结构化、非结构化数据之间的ETL工作。大大节约了开发周期以及开发难度。
强大的作业调度以及管控能力,使得数据处理更加业务化、可视化,使得企业的信息化部门可以更加方便、全面地了解数据处理模型的运行情况,有助于迅速定位和排除故障,更重要的是为及时主动的采取业务优化措施提供了可能性。
组件、模型持续积累能力,可高效的开发、积累和复用已经设计好的数据处理模型,通过元数据仓库对模型信息进行有效管理,持续性的降低了开发成本、管理成本以及人员流失成本。