2022值得推荐的数据集成平台
在企业运营发展过程中，会有越来越多的系统和应用，会因为不同的数据被存放在不同的软件系统中，数据存在的数据库属于后台，形成一个个数据孤岛，比如OA系统、ERP系统、MES系统、CRM系统等各个部门软件系统等数据库里面，数据资源犹如一潭潭相互隔离的“死水”，没有形成有效的数据集成，流动互通，数据被困在孤岛内，缺乏生机。
在此情况下，企业在需要基于自己的业务系统进行数据汇聚、数据分析的时候，需要将系统进行数据集成，比如将BOM系统和财务系统、MES系统打通，使得财务部门在核算成本，制造部门在组织生产中的数据参考更加实时、精准，但在这过程中，将会遇到如下问题：
1、数据库直接关联影响正常业务数据库性能
当业务库的数据库是同类型时，在进行数据集成时，比如都是SQL Server或者Oracle，只能通过创建DBlink的方式进行数据关联，但是这种情况下，对数据库频繁进行select查询时，会一定程度上影响业务数据库性能。
2、定时同步数据延迟
若需要进行数据集成的数据库，是异构数据库时，例如OA数据库底层是Oracle，金蝶系统底层是SQL Server，两者之间无法创建DBlink，那么部分企业会选择通过创建数据库定时任务，在业务不高频使用数据库的时候进行抽数，一般是T+1模式，比如当天的数据在第二天凌晨0~5点进行数据同步，这种模式除了数据实时性问题外，由于业务库底层数据库各种各样，对开发的能力要求更高，需要
3、数据实时性要求高
有些情况下，越是高频变更的数据，越需要进行实时同步，通过实时的消息提醒，进行业务处理，举个小小的例子，在MES系统中，机器出现故障了，若能够将这台机器的故障信息，立即通过企业微信或者钉钉的方式，推送给机器负责人，处理完成后，将信息直接在企业微信对应的应用表单进行填写，完成整个检查闭环。
而不是靠以往的实时监控MES系统，然后通过人为信息通知的方式，告知相关工作人员，检查修复后，然后反馈给负责人，进行确认。
4、代码开发成本高
另外，当数据团队处理好面向业务的数据业务包后，当其他外部系统需要进行引用的时候，由于网络等安全措施，不能直接开放数据库权限的时候，这时候开发人员需要自行Restful API接口，工作量和沟通成本比较大，以及难维护，当数据发生变动后，需要多个地方进行修改。
5、企业数据资产难维护
相对于企业来说，每个人手里的数据任务都是企业的数据资产，若如不通过统一的数据集成平台进行数据任务统筹，不管理，那么存在重复开发、口径不一致、数据核查的问题就会频频出现，不能发挥数据的真实价值。
二、FineDataLink数据集成平台功能点介绍
遇到这个问题，帆软的FineDataLink平台又能做些什么呢？
集“FineTube实时数据引擎”、“FinePreparation离线处理引擎”于一体的FineDataLink平台，提供数据集成和任务可视化管理监控工具，满足大数据背景下的多种异构数据实时传输、调度、治理等多种复杂场景。
（一）数据对接能力
FineDataLink数据集成平台支持通过输入组件接入不同数据源的数据，进行异构数据的映射关系，做到统一输出，目前支持以下几类的输入输出模式：
- 数据库：所有支持JDBC的关系型数据库结构化数据，例如：Microsoft SQL Server、MySQL、 Oracle、FineData、Greenplum等，以及Kudu等大数据平台。
- 上层通用协议类：HTTP、MQTT、OData等。
- 文件：TXT/JSON/CSV/XML等半结构化数据、图片/音频/视频等非结构化数据。
- 消息队列：Kafka、RabbitMQ等。
- 平台系统：FineReport报表平台、FineBI大数据分析平台、OA平台系统、CRM系统、MES系统、ERP系统、IoT平台等。
- 应用：简道云、企业微信、钉钉、飞书、邮件等。
（二）高效的实时流数据处理
FineDataLink数据集成平台，基于流式引擎实现实时流数据处理动作，依赖 CDC、BinLog、LogMiner、时间戳等技术实现实时增量同步数据，支持自定义参数，作业人员无需临时表操作，同步过程中参数会自动更新。
通过消息日志的方式，实现消息持久化，保证数以TB的消息存储也能够保持长时间的稳定性能。结合增量实时数据采集和并行数据装载技术，数据同步能力最高可达毫秒级别，满足实时同步能力。
能保证数据的聚合、拆分、过滤等处理几乎达到实时，能将时延控制在在毫秒级以内。
实验环境下，数据处理峰值可达到10万条/s，具体会受到硬件、网络带宽等情况的影响。
（三）可视化流程设计能力
作为一款低代码/高时效的数据集成平台，为了满足企业多样的业务数据需求，其流程设计中心是一个易于使用、功能强大而且可靠的数据处理和任务调度系统，通过拖拽、连接、配置完成基于流程的设计，自动化系统之间的数据流，实现数据采集、处理等功能，继而协助完成数据整合和集成，为打通业务系统提供强大便捷的辅助。
- 支持算子灵活搭配：已有近百个组件，可通过不同算子间的搭配，赋能开发者在无代码状态下实现高质量的拖拽式快速开发，从而实现数据的复杂处理流程。
- 支持任务调度依赖的设计：在传统的数据平台针对离线数据进行处理加工后，按照数据仓库分层的原则存储在数据仓库中，一般来说，此类场景是为大量的分析型计算准备，并且大多为批处理模式。
此类场景中，例如ODS到DWD、DWB、DWS的展现，需要通过FineDataLink数据集成平台中“执行任务”组件完成子任务之间的调度依赖关系，同时结合实时数据同步组件，完成实时数据处理平台的加工计算，提供一个真正的一站式数据采集、加工的服务平台。
- 支持流程控制：主要用来控制数据流程以及数据流向，和其他类算子进行搭配，实现多种场景的任务处理需求。
例如当需要对任务中不同的数据执行不同的操作时，可使用FineTube提供的if-else的流程类算子，进行条件判断，例如当某种情况下进行邮件的分发，某种情况下进行企业微信消息提醒，其他情况下微信机器人的提醒；或者不同条件下，写入到不同的数据表中，提供给业务进行使用。
（四）数据服务能力
数据服务能力是现代企业进行运营管理的一种信息技术驱动服务，FineDataLink平台中旨在为企业搭建统一的数据服务总线，帮助企业统一管理对内对外的API服务，同时也兼顾着数据接口发布平台这一重要功能，为您提供快速生成数据API的能力，进行统一的管理和发布。
其中，支持作业人员通过可视化编辑方式、零代码快速实现低成本、低风险的数据服务发布。
同时支持分页查询，减轻对服务器、客户端和网络的压力，以及自定义动态传参；安全上，支持APIKey鉴权，配置黑白名单等策略。
三、FineDataLink还在不断发展壮大，值得期待
在目前帆软服务的200+ FineDataLink平台的客户中，如果要用一句话来评价FineDataLink的话，用大多数客户的一句话说，那就是“这是一款值得期待的产品，未来还有更多价值场景”。
举个小小的例子，以往我们需要查看多系统联合查询数据时，为了不影响业务系统性能，一般是把数据凌晨定时抽取到系统，然后进行ELT操作，其实这样针对实时性场景并不那么友好。
现在FineDataLink的FineTube实时数据引擎能通过零侵入式的方式，例如Oracle的LogMiner、MYSQL的Binlog、SQL Server的CDC、DB2的CDC等来实时数据同步，不影响业务数据库性能的同时，提高数据实时分析效率，让查询更加高效。
但是，各行各业还存在更多实时数据场景需要进行数据同步、处理，从而让查询更高效、更快速。
最后，希望 FineDataLink 可以越来越好用，我们也会一直关注。
立即沟通
