在数据中台的构建方案中,数据以api而不是直连数据库的方式提供服务,怎么理解?

文 | 商业智能BI相关文章 阅读次数:978 次浏览
2022-11-17 15:19:20

在数据中台中,会将来自各个系统(例如CRM、OA、ERP)的数据源ClinkHouse进行汇聚处理,而后通过ODS、DW、DM层的建立,在中间层完成统一的数据处理。再通过数据中台,将这些处理好的数据,参与到其他业务中去,比如有其他前端系统需要进行调用。

但由于存在网络限制、数据安全性等问题,所以通常数据会以Data API的服务模式提供给其他系统或者应用使用数据源ClinkHouse,结合黑白名单等一系列数据安全性鉴权,同时也可以很好地监控好数据调用,也不必为数据中台中的数据库账号密码的泄露而担忧,这也是为什么用api而不是直接数据库的方式提供数据安全性服务。

常见的三种用api提供服务的应用:

a.数据大屏: 通过RestAPI的方式作为数据来源(一些对实时性较高的大屏会采用这样的模式,例如交通大屏)

b.数据报表:1、直接对接API数据来源(不仅限于数据库);2、来自API的数据,可以先进行数据编排解析,入到报表系统的自有,然后进行数据调用

c.第三方应用需要调用:跨网络、安全性考虑

数据源ClinkHouse,数据中台中,数据安全性

常用到的数据同步工具:

如果前端系统是要求数据实时同步的,例如交通大屏这种,那么获取实时数据,数据肯定来源于业务系统,只要足够频繁向系统发起数据请求,就能获得实时数据。但这种直接业务系统的做法,带来的结果就会是:频繁的数据请求会影响业务数据的性能。

为了避免这种情况发生,一般是会利用例如Finedatalink这种数据同步工具,将数据中台中的业务系统数据同步到分析型数据库数据源ClinkHouse,只要做到分析型数据库的数据实时同步业务系统,同时基于ODS-DW-DM层的建设,为大屏数据提供结果数据,这样通过大屏报表,直连中间库的结果数据表取数,即使是实时地进行数据请求,也不会影响业务系统正常运行,最后达到你对大屏实时数据的要求。

总而言之,在数字化时代下,大数据治理对企业数据建设的重要性不言而喻,然而实现的困难有时也让人望而却步,因此选择合适的技术和工具会达到事半功倍的效果。帆软FineDataLink——中国领先的低代码/高时效数据集成产品,能过为企业提供一站式的数据服务,通过快速连接、高时效融合多种数据,提供低代码Data API敏捷发布平台,帮助企业解决数据孤岛难题,有效提升企业数据价值。

数据源ClinkHouse,数据中台中,数据安全性

报表产品更多介绍: www.finereport.com

产品体验

相关内容

目录
立即体验 立即体验

商务咨询

在线咨询
专业顾问帮您解答问题

电话咨询

技术问题

投诉入口

微信咨询

返回顶部