内容概述

随着信息技术的飞速发展，组织和企业面临着海量、多样化的数据，如何有效地整合和利用这些数据成为业务成功的关键。数据集成不仅仅是技术问题，更涉及到数据质量、数据安全、业务需求和企业管理的平衡。

2023年帆软软件智数大会数据集成分论坛，旨在探讨最佳实践、挑战与解决方案，分享经验与洞见，推动数据集成技术的创新与发展，如何让数据为企业服务，而不是企业为数据服务。

以下内容节选自2023年帆软智数大会数据集成分论坛的嘉宾分享。

1、FineDataLink 4.1 产品预发布，加速企业级数据集成

“我们对企业技术与集成的核心要求是高时效，分别体现在：

1、高性能：随着企业业务量、数据量增大，能够让大量的数据有比较好的同步性能、计算性能，支持业务上的各种决策分析；

2、实时：有些业务决策分析需要实时的诉求，最好是秒级的，另一个原因是数据的持续流动比批量地去定时读取，其实对系统的整体影响要小；

3、高并发，如何让这些大量的定时任务、实时任务能够去持续地、稳定地、高性能地运转，我们认为也是非常关键的。

为此，在今年10月份我们会发布FineDataLink 4.1版本，它的核心特性：

第一个是高性能，比如说随着任务量的增加，我们做了一个自调优的设计，随着任务的增多，我们会优化并发去异步执行，并且内部会去检测各个任务需要耗费的资源，做一个动态的调优。

第二个是实时，我们投入了大量的资源去研究数据库底层逻辑，看它底层的数据产生的变化是什么样的形式，基于研究对接到许多数据源，基于日志解析的技术能够实时地监控到各个系统、各个数据库的数据变更情况。

第三个高并发，我们除了在单机的架构下做一些内部的优化，还提供了集群的架构，它是一个去中心化、微服务的集群，可以同时满足高可用、高并发的诉求，并且支持这个模块去微服务补足、动态扩容、故障迁移、自定义负载均衡。

4.1版本是FineDataLink一个里程碑版本，但是我们认为在数据集成领域，它其实没有终点线，未来FineDataLink还会有更多的里程碑版本。

2、构建核心数据资产释放企业潜力

“我们整个信息化建设的路径中，数据是如何集成的？

首先应用的集成我们是通过自研系统打通，但是各个系统的报表呈现，最开始是用了FineReport，用起来的确是很方便，后来随着业务量越来越多，业务部门什么事情就来找我们IT，说给我做个什么功能、做个什么报表，IT部门不堪重负就上了BI，部分分析给到业务自己去实现。

到2020年，我们的数据量越来越大，因为FineReport和FineBI都是去业务数据库实时抽取的，这里会存在一个影响业务库效率的问题：很多的报表实时地去业务库里查询，有些复杂的查询、计算还要好几分钟，影响效率和使用效果，于是我们就上FineDataLink，构建了分布式数仓，把所有的业务数据拉到数仓里面，所有的报表数据从数仓统一出，就相当于一个简单的读写分离，查询类的直接从数仓里拉，业务库只是负责增删改等一些功能。

我们整个数字化建设的过程中有三个特点：第一个我们自主开发、量身定制，适合企业的不同阶段；第二个是全员参与，有的是我们强力地让他们去执行；第三个是内部快速响应，高效满足客户的信息需求。”

3、全渠道数据中台建设之道

“数据中台的概念是我们在FineReport用得比较好之后，发现仍然有很多的个性化需求和想法，全靠IT人员的理解和开发是没法及时应对的。

所以我们当时就提出来全渠道数据中台的概念，即把我们的生产、分拣、物流、零售、会员、线上、线下等各类数据通过FineDataLink进行整合，然后根据我们的业务指标体系进行数据加工处理，让用户在FineBI内通过拖拉拽的简单操作方式，根据自己的想法和理解进行数据挖掘和分析。

在系统技术框架方面其实每个公司都差不多，最核心的是企业指标体系的规划与设计，因为每个企业的指标体系设计都不一样。零售行业考虑比较多的是外卖、到店、销量、客单、会员等数据。

但实际上我们作为传统的食品行业，还考虑到了生产成本、费用、人工、能耗等，还包括解冻差异率、煮制差异率，因为紫燕食品从原材料采购、生产、物流、销售等都是自己做的；其中还包括我们的分拣，为了提高工厂的分拣效率，针对不同分拣模式做了很多个性化的开发，其中的数据层面就是反映到我们的门店分拣速度、货品分拣速度、员工分拣效率等等，以前我们的分拣是大锅饭的形式，在我们新分拣系统上了之后，完全就可以落到每个人，分拣的多就拿的多......

全渠道数据中台，其目的实际上还是让数据回到企业的运营当中，以满足我们业务层、管理层、决策层，以及我们公司的生产、物流、仓储、服务等应用的需求。”

4、深耕数字化重塑新能力

“对于数据治理，我们当时考虑的几个重点是：数据标准的管理、数据模型的管理、元数据管理、数据质量管理、数据安全问题。像我们的数据存储——数据湖，现在我们的数据基本上都是结构化数据，有传统数据仓库里面的数据，也有分布式数据库里面的数据，我们后面可能还会有文档型的数据，所以我们叫数据湖。

像数据计算，也是分不同的业务场景，比如我们现在有批量的离线式计算，有每个小时的、有每天的、也有每个月的，实时抽取的，像直接读取的日志数据。这个也是不同的业务场景需要，不一定所有的业务场景都一定要实时抽取，因为实时抽取面临的就是你要付出更多的代价，要么你要花更多的钱，要么部署更多的服务器，要么你要投入更多的人力、精力来做开发。

我们在FineDataLink集成有一个SAP数据同步应用场景，SAP里面有生产入库数据、营销出库数据、库存数据，之前大部分情况下我们都是先把SAP数据导到EXCEL里面去，再通过FineReport加工。

现在我们直接就可以通过SAP，通过FineDataLink来进行调度，数据直接进入我们的数仓里面去，而且还会自动地进行过滤数据、处理一些重复数据之类的，出来的数据肯定都是清洁干净的数据。也就是把SAP里面的数据调到我们的ODS层，然后再通过标准化的处理放到数仓，最后通过报表体现出来。

我们对未来数据应用的规划，就是要有平台、思维、人才，我们需要有一个持续的优秀厂商进行合作，引入更多降本增效的平台，我们要把数据项目覆盖到全集团，提升全员参与数字化经营的意识，我们公司的职能部门、业务部门、数据部门持续培养更多的数据运营以及数据分析的人才，才能达到成功的数据应用。”