还在为数据迁移烦恼?做数据库设计的6个注意事项

文 | 商业智能BI相关文章 阅读次数:473 次浏览
2023-01-31 15:45:44

如果出于业务需要,需要重新进行数据库数据,但原有数据库的数据仍然需要,在重构过程中的数据库设计应注意哪些问题?

后期进行数据迁移时,两个库中的表结构不同要如何进行迁移?由于是异构数据库,所以做数据迁移时会比同构数据库麻烦。

这里推荐2种异构数据库做数据迁移时的常用方式,以及迁移时需要注意的6点问题

方法1:使用开源etl工具,比如kettle

要求:由于是全量备份,数据量会很大,一般需要较长的备份时长,备份过程可能会出现数据库报错或者连接数不足等非意料中的异常,且insert/update会 占用大量的CPU资源,风险较大。

做法:一次性or实时增量

方法2:使用代码工具实现,可以是数据级别的,也可以考虑更底层的,比如mysq|走binlog, sqlserver走cdc

要求:如果直接开写代码,对技术要求会较高,所以一般建议使用数据集成工具,比如FineDataLink,从数据级别入手,基于日志增量技术进行的数据同步,采用无侵入式的模式,对数据库的性能影响较小,能很好实现异构数据库数据迁移的需求。

做法:实时增量

至于在重构过程中的数据库设计应注意哪些问题,简单列举6点

1、表结构不同,在迁移的时候,需要做到不同类型的字段映射Q

2、假如要新增表字段的时候,需要支撑新增列

3、若有表字段需要进行二次处理规范,需要支持字段转换,比如公式或其他

4、表设计时,需要保证三大范式,这里就不展开讲了:可参考数据库三大范式

5、迁移时需要保证数据一致性, 采用定时数据同步或者数据的实时同步,直到源数据库的表弃用

6、数据迁移时所使用的工具,最好具备任务监控能力,能够及时寻错

在数字化时代下,大数据治理对企业数据建设的重要性不言而喻,然而实现的困难有时也让人望而却步,因此选择合适的技术和工具会达到事半功倍的效果。帆软FineDataLink——中国领先的低代码/高时效数据集成产品,能过为企业提供一站式的数据服务,通过快速连接、高时效融合多种数据,提供低代码Data API敏捷发布平台,帮助企业解决数据孤岛难题,有效提升企业数据价值。

数据迁移,异构数据库,数据库设计

FineDataLink更多介绍: https://www.finedatalink.com/

产品体验

相关内容

目录
立即体验 立即体验

商务咨询

在线咨询
专业顾问帮您解答问题

电话咨询

技术问题

投诉入口

微信咨询

返回顶部