搭建数据仓库是一个什么样的过程?数仓建设又该如何分层?

文 | 商业智能BI相关文章 阅读次数:1,253 次浏览
2023-12-12 17:40:40

随着企业数据量的不断增长,数据仓库架构成为了企业数据管理的重要部分。数据仓库是一个集成了多个数据源的数据存储系统,通常用于支持决策支持和数据分析。

一、数据仓库是什么

数据仓库面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。从定义上来看,数据仓库的关键词为面向主题、集成、稳定、反映历史变化、支持管理决策,而这些关键词的实现就体现在分层架构内。

二、数仓为什么要分层?

用空间换时间,通过大量的预处理来提升应用系统的用户体验(效率),因此数据仓库会存在大量冗余的数据;不分层的话,如果源业务系统的业务规则发生变化将会影响整个数据清洗过程,工作量巨大。

通过数据分层管理可以简化数据清洗的过程,因为把原来一步的工作分到了多个步骤去完成,相当于把一个复杂的工作拆成了多个简单的工作,把一个大的黑盒变成了一个白盒,每一层的处理逻辑都相对简单和容易理解,这样我们比较容易保证每一个步骤的正确性,当数据发生错误的时候,往往我们只需要局部调整某个步骤即可。

三、如何搭建一个好的数仓?

稳定:数据产出稳定且有保障。

可信:数据干净、数据质量高。

丰富:数据涵盖的业务足够广泛。

透明:数据构成体系足够透明。

 

四、数仓设计的3个维度:

功能架构:结构层次清晰。

数据架构:数据质量有保障。

技术架构:易扩展、易用。

 

五、数仓架构

按照数据流入流出的过程,数据仓库架构可分为:源数据、数据仓库、数据应用

源数据:此层数据无任何更改,直接沿用外围系统数据结构和数据,不对外开放;为临时存储层,是接口数据的临时存储区域,为后一步的数据处理做准备。

数据仓库:也称为细节层,DW层的数据应该是一致的、准确的、干净的数据,即对源系统数据进行了清洗(去除了杂质)后的数据。

数据应用:前端应用直接读取的数据源;根据报表、专题分析需求而计算生成的数据。

搭建数据仓库,数据仓库分层,数仓分层,搭建数仓,数仓架构

六、数仓分几层最好?

目前市场上主流的分层方式眼花缭乱,不过看事情不能只看表面,还要看到内在的规律,不能为了分层而分层,没有最好的,只有适合的。

分层是以解决当前业务快速的数据支撑为目的,为未来抽象出共性的框架并能够赋能给其他业务线,同时为业务发展提供稳定、准确的数据支撑,并能够按照已有的模型为新业务发展提供方向,也就是数据驱动和赋能。

数仓分层要结合公司业务进行,并且需要清晰明确各层职责,要保证数据层的稳定又要屏蔽对下游影响,一般采用如下分层结构:

搭建数据仓库,数据仓库分层,数仓分层,搭建数仓,数仓架构

 

七、结语

数据仓库架构是实现企业数据管理的重要部分,它可以支持决策支持和数据分析应用。本文介绍了数据仓库的基本概念、组成部分和实现过程,为读者提供了关于数据仓库架构的基本知识。在实际应用中,需要根据企业的实际情况进行具体的设计和实现。

 

 

搭建数据仓库,数据仓库分层,数仓分层,搭建数仓,数仓架构

产品体验

相关内容

目录
立即咨询 立即咨询

在线客服

电话咨询

技术问题

投诉入口

返回顶部