企业必备4种数据产品选型(数仓、报表、BI、数据治理),你该怎么选,本文都说清了!

文 | 商业智能BI相关文章 阅读次数:2,365 次浏览
2022-08-11 9:35:25

前言

目前在这个数字化转型的时代,越来越多的公司高层开始自上而下关注数据了,越来越多的企业也就有了对数据建设的需要了。

一个企业做什么数据工作,都必须有一定的信息化和数据建设基础,比如数据平台、数据应用工具、数据管理工具等。

关于这个,我从事企业数据建设已经有近7年了。从技术到项目管理,我都当过乙方和甲方,有多年与各种乙方厂商打交道的经验,所以来分享数据产品选型的“内幕”。

涉及的产品有:数仓、大数据平台、报表、BI、数据治理、数据中心等。

数仓

数据仓库是一种解决方案,根据企业的需求,有不同的架构(传统数据仓库、数据集市、大数据平台等)。架构下有很多分层和组件,更需要的是架构师的能力,而不是工具,不多说具体原理了。数据仓库的选型主要有:数据存储方案、ETL和前端应用

底层数据仓库服务器通常是关系数据库系统,常用的解决方案有Oracle、DB2、Greenplum、Teredata等数据仓库专业解决方案。

传统的关系型数据库:oracle、mysql、DB2。

大规模并行处理数据库:Vertica、Teradata(商业)、Greenplum (开源)。

Teradata流行很久了,在银行中广泛使用,但它也非常昂贵。目前我们大部分项目都是基于Greenplum,这是业界速度最快、性价比最高的高端数据仓库解决方案。Greenplum基于PostgreSQL,于2015年开源。我知道国内四大银行有三家在用,五大物流公司有四家在用,很多公司都在从Teradata转到了GP。

大数据平台的主流是:Hadoop+Hive。这个方案的普及性不用多说,后面提到的大部分大数据平台厂商都是基于此来设计平台产品的。

ETL工具里,用的较多的有kettle、Tablend和Penthao。

Talend:基于Eclipse,具有良好的可扩展性、稳定性和自定义性(可以开发自己的Eclipse插件),并且符合Eclipse标准(如程序员熟悉文件目录结构)。Talend可以被很好地嵌入,因为它生成的Java代码可以与其他系统很好地契合,这需要用户使用Java。

Penthao是一个发行已久的工具。第一个版本于2001年发布。Kettle是Penthao的整个数据集成解决方案的一个组件。它也是基于Java开发的,但它不要求用户理解Java,并且隐藏了底层实现细节。与talend相比,它的主要缺点是可扩展性差。由于很难扩展,社区中可用的组件较少。

前端应用工具主要是报表、BI和数据挖掘。前两个的数据产品选型将在后面详细讨论。

大数据平台

2013年前后,Hadoop系统的不断完善标志着大数据应用场景得以满足。此时,一些前沿企业开始搭建大数据平台。

近年来,这些制造商也开始转向“数据中台”的概念。但毕竟,他们是传统的软件制造商。他们不太了解互联网公司提出的“数据中台”是什么。这似乎与他们所熟悉的大数据平台没有什么不同。

事实上,所有大数据平台都已经具备了“数据中台”的基本条件。以大数据平台和数据中台产品为例,各种底层架构和功能基本相同。对于大多数企业来说,中台仍然适合于互联网运营商银行的“富老板”和“数据巨无霸”,中台的确更加重视数据服务化,但一些普通企业确实没做到这一点,所以最好还是埋头做数据化管理吧。

如果你的公司有一个庞大复杂的业务系统,数据量达到PB级,需要海量数据的存储和计算,请选择这三个数据产品选型并比较方案。

报表

现在还在做报表的厂商已经很少了,国内主流的就帆软Finereport,还有开源的工具jasperreport也用的挺多。

数据产品选型方面,普通小公司有1~2名数据工作者,建议购买报表平台,没有必要急着去用BI。

帆软finereport功能齐全,生态良好,服务周到。招报表工程师也很容易。价格略高于其他厂家,但联想到品牌和服务溢价,也还是值得的。毕竟,它是中国的第一。

BI平台

在过去的几年里,BI是外国市场的霸主。BO、Brio、Cognos、MSTR等都是老BI制造商。我在做纯技术时经常使用他们的产品。东西不便宜,而且由产品用户分别两次收费,这是不划算的。架构也非常复杂。与互联网时代的产品使用风格相比,这也是高难度的。

早期国内市场只有报表,但所有与BI相关的大订单都被国外厂商垄断,但BI需求越来越明显,这与信息产业发展初期类似,中小企业的需求也逐渐显现。因此,BI在中国开始发展起来,比如帆软 BI等东西都不错,价格比国外漂亮多了,基本上只限制服务器,不限制用户数量,怎么使用都可以。后来,tableau和powerBI开始流行起来。有许多个人用户支持他们。它们真的很容易使用。然而,在企业应用场景中,根据性能和并发成本的不同,不同的人有不同的观点。

然而,使用BI不是两三个人的事。我们必须建立一个数据仓库,然后进行各种可视化和多维分析。因此,必须有数仓工程师、ETL工程师和BI工程师等职位。当然,如果你是大佬,能力够强,一个人都做了是没有问题的。许多单位在招聘人员时要求必须同时做到这两个方面。

大中型公司都有几个业务系统。建议购买BI系统,如数据仓库、指标体系、固定报表、多维分析和数据可视化。在建设期间,还是需要多几个人当BI工程师来做为好。建设完成后会很舒服。如果业务变化性小,可以留下两个人进行维护。

数据产品选型,数据仓库解决方案,数据治理,数据中台方案,BI工程师

数据中台

所谓中台,就是集数据采集连接、统一治理、建模分析和应用服务于一体的综合性数据平台,是为企业数据化决策的一大助力,其重要性已不言而喻。

如果公司业务复杂,数据量巨大,重点是业务中存在多个客户应用场景,数据交互效率低,需要大量的客户数据价值发现,需求迫切,可以考虑下中台方案。

最后总结

1、报表平台解决固定报表和自动化报表,支持打印、计算等批量处理操作。如果公司有需要直接使用帆软等平台,有1到2名报告工程师就足够应付了。

2、BI平台是在报表平台上增加解决多维分析和自助查询报表的能力。它要求数据仓库团队做底层数据支持,BI工程师设置各种度量和维度以及做多维分析报表,不需要重复做固定报表了;

3、大数据平台是基于BI平台解决海量数据存储、计算和实时计算的问题;无需关注底层海量数据的存储、计算、实时计算等问题;但需要增加大数据工程师,进行集群维护和基于大数据平台的各种开发工作。

4、数据中台是基于大数据平台,提供ID连接、统一模型、统一服务功能以及附加的偏互联网功能,如标签工厂和用户分析。人员需要增加数据中台产品经理,其他工作仍由大数据工程师和大数据分析师完成。

5、自BI平台开发以来,数据治理能力不断发展,并在大数据平台和数据中台中不断加强。因此,BI平台、大数据平台和数据中台都具备数据治理能力。数据中台还增加了数据资产和计费的概念和功能。

但这一切都要基于一个好用的数据可视化平台。现在市面上流行的有FineBI、Power BI,但权威机构IDC指出市场占有率第1的还是FineBI,这些都可以做数据分析

数据产品选型,数据仓库解决方案,数据治理,数据中台方案,BI工程师

FineDataLink更多介绍: https://www.finedatalink.com/

< 上一篇:表单设计软件

下一篇:表单制作>

产品体验

相关内容

目录
立即体验 立即体验

在线客服

电话咨询

技术问题

投诉入口

返回顶部