你还在手动更新Excel新增数据吗?用这个低代码ETL工具一招轻松搞定

文 | 商业智能BI相关文章 阅读次数:1,222 次浏览
2023-01-09 14:59:30

1. 概述

有时出于业务需求,需要固定进行数据库同步Excel新增数据工作,比如每日库存更新,可以通过ETL工具高效实现数据库同步Excel新增数据任务,以FineDateLink为例,示范如何使用一款低代码ETL工具实现库存在数据库中的每日更新

1.1 预期效果

Excel 数据表为源数据表,每天会新增数据,用户希望数据库中的某张表自动新增 Excel 里面昨天新增的数据。

1.2 实现思路

Excel 数据集作为要输入的数据,使用 Spark SQL 算子筛选出前一天的数据后,通过 DB 表输出算子输出到数据库的某张表中。

2. 示例

2.1 新建 Excel 数据集

示例数据:出入库信息.xls,为数据来源表,每天都会更新信息。

具体步骤请参见:数据源类型为Excel 文档的 2.1 节内容。

2.2 创建任务

新建一个 ETL 任务,将一个「数据转换」节点拖到设计界面。如下图所示:

低代码ETL工具,数据转换,数据库同步Excel新增数据


2.3 设置数据输入

1)点击「数据转换」节点进入设置页面。

2)将一个「数据集输入」算子拖到数据转换的设计界面,根据Excel数据集的实际情况进行设置。如下图所示:

低代码ETL工具,数据转换,数据库同步Excel新增数据

2.4 设置 Spark SQL 算子

1)将 Spark SQL 算子拖到数据转换的设计界面,并使用线条跟它的上游「数据集输入」算子相连。

2)按照下图配置 Spark SQL 。语句为:select * from 数据集输入 where `入库日期` = date_add(“${cyctime}”,-1)。如下图所示:

注1:表名为上游节点的名称;语句不能直接复制,「数据集输入」需点击生成。

注2:SQL 语句含义:筛选出前一天入库的信息。

低代码ETL工具,数据转换,数据库同步Excel新增数据

数据预览 Tab 页面如下图所示:

低代码ETL工具,数据转换,数据库同步Excel新增数据

2.5 设置 DB 表输出

再将一个「DB表输出」算子拖到设计界面,并使用线条跟它的上游「Spark SQL」算子相连。

1)点击「DB表输出」算子对它进行设置。如下图所示:

注:示例中 xinxi 表为新建的空表。

低代码ETL工具,数据转换,数据库同步Excel新增数据

2)点击右上角「确定」按钮。如下图所示:

低代码ETL工具,数据转换,数据库同步Excel新增数据


2.6 设置定时更新

1)回到 ETL 任务设计界面,点击右上角「调度配置」,设置任务定时执行时间。如下图所示:

注:用户根据实际情况设置执行时间;执行时间在数据来源表更新数据之后就行。

低代码ETL工具,数据转换,数据库同步Excel新增数据

2)点击右上角「保存」按钮。

2.7 任务结果

任务执行后,目标表数据如下图所示:

低代码ETL工具,数据转换,数据库同步Excel新增数据

通过范例,使用便捷高效的低代码ETL工具,轻松实现了数据库同步Excel新增数据的任务。在日常的业务管理中,还有大量类似的繁琐的数据管理工作,需要定时处理,涉及到数据同步和数据转换等问题,都可以考虑通过ETL工具实现,现在随着低代码ETL工具的开发使用,数据管理工作正变得越来越便捷,这类工具操作简便,使用门槛较低,可以帮助提高企业数据治理效率。

帆软FineDataLink——中国领先的低代码/高时效数据集成产品,能过为企业提供一站式的数据服务,通过快速连接、高时效融合多种数据,提供低代码Data API敏捷发布平台,帮助企业解决数据孤岛难题,有效提升企业数据价值。

低代码ETL工具,数据转换,数据库同步Excel新增数据

FineDataLink更多介绍: https://www.finedatalink.com/

产品体验

相关内容

目录
立即体验 立即体验

商务咨询

在线咨询
专业顾问帮您解答问题

电话咨询

技术问题

投诉入口

微信咨询

返回顶部