一、为什么需要数据集成平台
企业各个办公系统,都在自己的系统中,没有一个统一数据集成平台,导致不集中、不能快速的展示所有业务的情况。各系统的数据只能在各自单一的系统内查看,数据不能从业务顶层融合与展示,各个系统的数据没法进行综合分析,且数据分析结果无法复用形成数据资产。
IT部门以往通过开源工具,将数据抽取到oracle数据库,然后企业各个部门的业务数据分析师在数据库中进行数据下载,处理完成后进行上传,整理后进行数据的上报。这样进行大量重复工作,业务处理效率下降。
数据应用集成不再仅仅局限于帮助企业实现系统集成或信息系统架构,而是从平台、社区、文档管理和服务申请流程等各方面让跨界的企业,用户,合作伙伴可以通过自助形式去使用。
二、FineDataLink数据集成平台提出解决方案
集“FineTube实时数据引擎”、“FinePreparation离线处理引擎”于一体的FineDataLink平台,提供数据集成和任务可视化管理监控工具,满足大数据背景下的多种异构实时数据传输、调度、治理等多种复杂场景。
(一)数据实时同步处理
FineDataLink数据集成平台的数据管道支持多个数据源、多个目标库的原样实时数据同步功能,如下图所示,支持创建实时数据管道任务、启动和暂停任务、查看任务详情以及删除该任务。
在高吞吐上,即使是非常普通的硬件,FineTube数据集成平台也可以支持每秒数百万的消息峰值。
(二)搭建API接收发布数据
FineDataLink数据集成平台的数据服务模块,支持作业人员通过可视化编辑方式、零代码快速实现低成本、低风险的实时数据服务发布。
公司的IT部门,可将目前的数据库中数据通过API的方式进行统一发布,供第三方进行使用,统一数据出口和管理。
(三)基于流的编程模型,增强可视化流程设计能力
作为一款低代码/高时效的数据集成平台,为了满足企业多样的业务数据需求,其数据编排的流程设计中心是一个易于使用、功能强大而且可靠的数据处理和任务调度系统。
通过拖拽、连接、配置完成基于流程的设计,自动化系统之间的数据流,实现数据采集、处理等功能,继而协助完成数据整合和集成,为打通业务系统提供强大便捷的辅助。
(四)多方位实时监控
FineDataLink的数据编排模块,提供四个方面可视化的监控界面,被监控的指标均基于图表的形式展现,可一键实现复杂工作流的全链路监控报警配置。
同时FineTube数据集成平台提供了API监控台,可以查看API被调用的性能情况,以及对应调用的IP地址。