异构数据库做数据迁移的常用方法!你会了吗?

文 | 商业智能BI相关文章 阅读次数:903 次浏览
2022-09-14 14:01:59

很多时候,mysql中目标数据库与原数据库表结构不同,我们在做异构数据迁移的时候或许会产生这样的疑问。

项目将要进行重构,原有数据库设计不合理,但原有数据库的数据仍然需要,在重构过程中的数据库设计应注意哪些问题?

后期进行数据迁移时,多源异构数据源要如何进行迁移?

其实不难回答,因为异构数据库的是多源异构数据源,所以做异构数据迁移时会比同构数据库麻烦。

这里推荐2种多源异构数据源做异构数据迁移时的常用方式,以及异构数据迁移时需要注意的6点问题。

方法1:使用开源etl工具,比如kettle

要求:由于是全量备份,数据量会很大,一般需要较长的备份时长,备份过程可能会出现数据库报错或者连接数不足等非意料中的异常,且insert/update会占用大量的CPU资源,风险较大。

做法:一次性 or 实时增量

方法2:使用代码工具实现

代码工具可以是数据级别的,也可以考虑更底层的,比如mysql走binlog, sqlserver走cdc。

要求:如果直接开写代码,对技术要求会较高,所以一般建议使用数据集成工具,比如FineDataLink,从数据级别入手,基于日志增量技术进行的数据同步,采用无侵入式的模式,对数据库的性能影响较小,是一款比较适合解决大部分问题的数据集成工具。

做法:实时增量

多源异构数据源,异构数据迁移,数据集成工具

在重构过程中的数据库设计应注意哪些问题,这里简单列举6点

1、表结构不同,在迁移的时候,需要做到不同类型的字段映射;

2、假如要新增表字段的时候,需要支撑新增列;

3、若有表字段需要进行二次处理规范,需要支持字段转换,比如公式或其他;

4、表设计时,需要保证三大范式;

5、迁移时需要保证数据一致性,采用定时数据同步或者数据的实时同步,直到源数据库的表弃用;

6、迁移时所使用的数据集成工具,最好具备任务监控能力,能够及时寻错。

总而言之,在数字化时代下,大数据治理对企业数据建设的重要性不言而喻,然而实现的困难有时也让人望而却步,因此选择合适的技术和工具会达到事半功倍的效果。帆软FineDataLink——中国领先的低代码/高时效数据集成产品,能过为企业提供一站式的数据服务,通过快速连接、高时效融合多种数据,提供低代码Data API敏捷发布平台,帮助企业解决数据孤岛难题,有效提升企业数据价值。

多源异构数据源,异构数据迁移,数据集成工具

FineDataLink更多介绍: https://www.finedatalink.com/

产品体验

相关内容

目录
立即体验 立即体验

商务咨询

在线咨询
专业顾问帮您解答问题

电话咨询

技术问题

投诉入口

微信咨询

返回顶部