千万数据却只用6步管理!这套数据治理架构如何100%复用?

文 | 商业智能BI相关文章 阅读次数:14,789 次浏览
2022-11-22 18:56:59

企业数据其实是资产,那如何让资产产生作用,这是一门大学问。

主数据管理是数据资产管理最重要和核心的内容,本文通过“一平台、两体系、三性特征、四个统一、五个超越、六类服务 ”应用场景,比较体系化详尽的介绍主数据治理、共享和应用全过程。

主数据管理要点概览

主数据是数据之源,是数据资产管理的核心,是信息系统互联互通的基石,是信息化和数字化的重要基础。

主数据管理,数据治理架构,主数据管理解决方案1)一平台:搭建一个一体化数据治理和共享平台;

2)两体系:建立两个体系(数据标准体系和保障体系);

3)三性特征:确保主数据三性特征(唯一性、准确性、共享性);

4)四个统一:达到四个统一(统一标准、统一来源、统一接口、统一服务);

5)五个超越:实现五个超越(超越部门、超越流程、超越主体、超越系统、超越技术);

6)六类服务:提供六种数据服务(数据订阅/分发服务、主数据查询/申请服务、数据调用API服务、公共数据资源池、数据资源服务、数据即时服务)。

一、一体化数据治理、共享和应用详解

1.1 一平台

建立企业级的、一体化的数据治理和共享平台,确保数据资源中心的数据质量和安全管理。详细功能描述可以参照数据治理平台工具前世今生。

主数据管理,数据治理架构,主数据管理解决方案

基于Spring boot框架, 引入Eureka、Zuul、Feign、Ribbon等Spring cloud相关组件,形成微服务解决方案,前端页面应用服务实现前后端分离。

主数据管理,数据治理架构,主数据管理解决方案

云计算为数据管理工具提供了能够满足“共享服务”功能的新的架构模式,采用微服务技术满足数据管理工具的高可用性、稳定性和易用性。人工智能够主数据清洗提供了自动化思路,利用自然语言处理及数据标准库提升数据质量。

基于统一技术架构、统一指标数据驱动的元数据(业务元数据、管理元数据、技术元数据等)、统一治理工具、统一安全管控,通过不同的模块组合,形成不同的数据服务和治理解决方案;

主数据管理,数据治理架构,主数据管理解决方案

二、两个体系

2.1 数据管理体系

主数据管理,数据治理架构,主数据管理解决方案

数据管理体系包含:数据标准管理体系、数据管控体系、数据技术服务体系、数据质量要求、数据安全要求等。

2.2 数据运维体系

建五位一体数据运维服务体系,加强应用推广的组织和培训指导,有序推进数据共享、应用

主数据管理,数据治理架构,主数据管理解决方案

三、主数据三性特征

3.1 唯一性

在一个系统、一个平台,甚至一个企业范围内,主数据实体要求具有唯一标识即数据编码,同名同义,保证同一个对象在应用的唯一性,如:统一员工和组织主数据,对所有系统的员工和组织进行规范。

3.2 准确性
3.3 共享性

跨部门、跨系统高度共享的数据,可以被多个认识主体接收和利用。

主数据管理,数据治理架构,主数据管理解决方案

支持企业多业务类型、多地域经营的应用,在流程规范、系统集成、主题共享、系统数据一致性等方面都需要通过数据标准化来支撑,从而最终提高管理效率,加强管控落地。

主数据管理,数据治理架构,主数据管理解决方案

数据治理工作在提升企业整体价值的同时,也为企业内部的数据共享等具体提供了良好的和可持续的数据基础,为数据的进一步挖掘和分析夯实基础。

四、四个统一

这块没什么价值,略过。

五、五个超越

5.5 超越技术

超越技术:由于主数据要满足跨部门的业务协同,因而必须适应采用不同技术规范的不同业务系统,所以主数据必须应用一种能够为各类异构系统所兼容的技术条件。

从这个意义上讲,面向微服务架构为主数据的实施提供了有效的工具。在不同环境、不同场景下,主数据的技术是可以灵活应对的。主数据的集成架构是多样的,如:总线型结构、星型结构、端到端结构;集成技术也是多样的,如:webservice、REST、ETL、MQ、kafka等;不论是架构还是技术,没有最好的只有更合适的。

企业在做技术选型的时候,要充分考虑企业的核心业务需求和未来的发展要求去构建自身的主数据技术体系。

六、六种数据服务

以下为6种比较常用的数据服务方式,其中,1-4是主数据应用的服务,5-6已经超越主数据的概念,可以针对交易数据,指标数据提供数据共享服务。

主数据管理,数据治理架构,主数据管理解决方案

这里讲一个数据资源服务吧。

数据资源服务是各类数据高级应用,是将源系统数据大集中在数据资源中心,通过大数据技术工具,提供各类数据自助式服务。

通过相关工具(Sqoop等)将源系统的数据(HR、财务、业务等)抽取到大数据平台,经过整合、清洗、归并后形成各种主题数据,对外提供不同的数据服务(主数据、交易数据、指标数据);

但这一切都要基于一个好用的数据可视化平台。现在市面上流行的有FineBI、Power BI,但权威机构IDC指出市场占有率第1的还是FineBI,这些都可以做数据分析

主数据管理,数据治理架构,主数据管理解决方案

FineDataLink更多介绍: https://www.finedatalink.com/

产品体验

相关内容

立即体验 立即体验

在线客服

电话咨询

技术问题

投诉入口

返回顶部