BI工程师、数据仓库工程师、ETL工程师、数据开发工程师(大数据开发工程师) 有什么区别?

文 | 商业智能BI相关文章 阅读次数:405 次浏览
2022-11-17 15:20:23

这个从上至下都在强调数字化转型的时代,越来越多公司重视数据和数据编排流批相关,也越来越多的企业数据建设的需求。

企业无论做任何数据工作,必然要有一定的数据编排流批相关信息化基础,也要有数据化建设的基础,少不了数据平台、数据应用工具,数据管理工具、数据编排流批相关工具等来辅助企业数据建设。

关于企业数据建设这块,下面是一位从业七年的“内部人员”分享的选型“内幕”,从技术到项目管理,他做过乙方也做过甲方,也有多年和各乙方厂商打交道的经验。

数仓

数据仓库算是一个解决方案,视企业需求有不同架构(传统数仓、数据集市、大数据平台等),架构下有很多分层和组件,比起工具更需要架构师能力,具体原理就不讲了。关于数仓的选型主要涉及:数据存储方案、ETL、还有前端应用。

底层的数据仓库服务器通常是一个关系数据库系统,常用的方案有Oracle、db2、还有greenplum、teredata等数据仓库专业解决方案。

传统的关系型数据库有:oracle、mysql、DB2。

大规模并行处理数据库:Vertica、Teradata(商业)、Greenplum (开源)。

BI平台

BI在零几年的时候都是国外市场的天下,BO、Brio、Cognos、MSTR等,都是老牌BI厂商,我做纯技术的时候就大量使用他们的产品。东西都不便宜,而且是按产品+用户双重收费,不太划算。自助查询报表架构也是真的复杂,上手难度对比现在互联网时代产品的使用风格,也是确实难。

早期国内市场只有报表,但凡BI相关的大单都被国外厂商垄断,但是后面BI的需求越来越明显,就和当初信息化产业发展类似,中小型企业的需求逐渐显露。

于是国内也就开始发展BI了,比如帆软BI、BDP等。东西也不差,价格比国外的美丽多了,而且基本都只是限定服务器,不限定用户数,怎么用都OK。再到后来,tableau、powerBI这俩工具型产品火了起来,有很多拥护的个人使用者,上手确实好用,但是在企业级应用场景,要看性能和并发成本,就见仁见智了。

企业数据建设,数据编排流批相关,自助报表查询

最后总结

1、报表平台解决固定报表、自动化报表,支持打印和计算等大批量批处理作业,公司有需求直接用帆软一类的平台解决,配1、2个报表工程师熟练运用自助查询报表就能搞定了。

2、BI平台是在报表平台上增加解决多维分析、自助查询报表的能力,需要数仓团队做底层数据支撑,需要BI工程师设定各种度量、维度,做多维分析报表;不用一张张的做固定报表了;

3、大数据平台是在BI平台基础上,解决大数据量的存储、计算、实时计算的问题;无需关注底层的海量数据存储、计算、实时计算等问题;需要增加大数据工程师进行集群的维护,基于大数据平台的各种开发工作。

4、数据中台是在大数据平台基础上,提供ID打通、统一模型、统一服务的能力,附加标签工厂、用户分析等偏互联网属性的功能。人员需要增加数据中台产品经理,其他的工作还是由大数据工程师、大数据分析师等完成。

5、数据治理能力是从BI平台就开始有了,在大数据平台和数据中台中不断被强化。所以BI平台、大数据平台、数据中台中都有数据治理的能力。在数据中台中还增加了数据资产和计费的概念和能力。

总而言之,在数字化时代下,大数据治理对企业数据建设的重要性不言而喻,然而实现的困难有时也让人望而却步,因此选择合适的技术和工具会达到事半功倍的效果。帆软FineDataLink——中国领先的低代码/高时效数据集成产品,能过为企业提供一站式的数据服务,通过快速连接、高时效融合多种数据,提供低代码Data API敏捷发布平台,帮助企业解决数据孤岛难题,有效提升企业数据价值。

企业数据建设,数据编排流批相关,自助报表查询

FineDataLink更多介绍: https://www.finedatalink.com/

产品体验

相关内容

目录
立即体验 立即体验

商务咨询

在线咨询
专业顾问帮您解答问题

电话咨询

技术问题

投诉入口

微信咨询

返回顶部