什麼是數據治理,這篇文章把數據治理說的最清楚!

作者:帆軟行業化團隊

2024年9月27日 · 8 min read

來源:帆軟

數據治理(Data Governance)是企業對資料資產管理行使權力和控制的活動集合(包括計劃、監督和執行),它是管理企業資料資源的一種方式、方法,旨在確保資料的質量、安全、合規和有效性。數據治理是企業實現資料戰略的基礎,是一個管理體系,包括組織、制度、流程和工具。

數據治理是一套複雜的管理體系,它無法透過單一的工具或產品來實現。資料的生命週期包含了源頭、處理和消費這三個階段,資料的問題也可能會出現在這三個環節中。例如在資料來源頭環節,使用者錄入資料的規範性存在問題,導致了最終資料消費環節的資料質量低。這些表象問題的根源,可能來自於業務系統使用者互動設計,乃至是底層資料庫表結構設計上的缺陷。想要解決這些表象的問題,就需要解決深層次的資訊化業務系統開發以及資料庫表約束設計等問題。

例如為了保證使用者錄入資料的準確性,有三種方式去設計業務系統:

  • 設計前端的檢驗驗證,避免使用者做出相同的選擇;
  • 透過程式編寫過濾判斷的邏輯,篩除掉前端誤入的資料,作為第二層驗證;
  • 透過建立約束條件,例如唯一性約束、檢測約束等等來控制資料錄入準確性。

因此,企業的數據治理遠非使用一款單一的工具或產品就可以實現的,它是需要回到源頭,對企業的組織、流程制度、業務系統、底層架構等多個方面進行排查和重構的,它是一套複雜的管理體系。

一、數據治理的兩種策略

考慮到數據治理工程的複雜性,我們提出了兩種目的性不同的數據治理策略:拉式策略(Pull Strategy)和推式策略(Push Strategy)。

1.拉式策略

拉式策略,面向資料應用,是以提升資料應用過程中的資料準確性為目標的數據治理建設策略。它強調在資料應用的過程中定位和解決問題,以資料應用專案為建設週期。具體而言,拉式策略有三個特點:

  • 自上而下:拉式策略通常以指標體系為起點,進行金字塔式自上而下的規劃與建設,透過“資料流、業務流、資訊流”的過程反向推動資料質量提升;
  • 資料整合:它包括多系統的資料整合、拉通、清洗、處理,以及資料倉庫建設和ETL 開發過程;
  • 資料應用:拉式策略面向資料應用。根據實際業務情況,主要解決資料指標定義標準不清晰、指標計算口徑不統一、指標計算口徑版本變更、資料不準確、資料上報與資料稽核等資料應用場景出現的問題。

2.推式策略

推式策略,面向資料全生命週期的管理與控制,是一種體系化的數據治理建設策略。它強調體系化的計劃、監督、預防與執行,包括多年計劃的資料策略週期。具體而言,推式策略有三個特點:

  • 體系化、系統化:推式策略不針對某個單一的、具體的資料應用場景,而是一個全面體系化的治理過程;
  • 全生命週期:它貫穿資料全生命週期的管理,例如資料採集、資料質量、資料應用、資料安全、資料分享等多個環節;
  • 立體策略:推式策略從數據治理策略(目標、範圍、方法和組織 )開始,透過專業的數據治理團隊進行數據治理的規劃、實施和監督,透過制定資料管理流程規範從源頭業務系統的構建到資料的分發、流轉,包括資料安全策略與控制,最終貫穿資料資產管理、分析和挖掘的全生命週期過程。

二、策略比較

拉式策略以資料應用需求為起點,推式策略以標準規劃為起點,兩種策略在多個方面有差異:

數據治理的兩種策略比較.jpg
數據治理的兩種策略比較

根據多數企業的實踐經驗,以資料應用需求為起點的拉式策略有著更短的實施週期和更低的投入成本,是一種更加靈活、更加敏捷的數據治理策略,我們將在下文中著重介紹這種數據治理策略。

1.拉式數據治理建設策略流程解析

以提升資料應用過程中資料準確性為目標的拉式數據治理建設策略主要包括3個流程:

(1)基於指標體系的資料問題洞察:基於資料指標體系,以“資料流、資訊流、業務流”的基本邏輯框架,在限定的範圍內及時洞察資料質量問題的根源,並逆向推動業務資訊化和業務管理的改善和提升;

(2)穩健的資料架構設計:透過資料倉庫建模、合理的分層設計、ETL 過程開發等,保障資料模型及架構的穩健性和可擴充套件性,提高資料使用的準確性;

(3)資料應用稽核管控機制:建立面向高層管理的資料指標管控及稽核機制,確保資料應用過程中(上報、視覺化分析)關鍵資料必須經過有效稽核,提升資料使用質量及資料準確性。

三、資料問題洞察

資料問題的洞察過程可以分為5個步驟:

第一步是企業內部的資料收集和需求調研;

第二步是指標體系梳理;

第三步是確認視覺化原型設計方案;

第四步是“資料流-資訊流-業務流”的問題識別過程;

第五步是暴露問題,形成資料質量提高待辦。

這些步驟中最為重要的是第二步指標體系的梳理和第四步“資料流-資訊流-業務流”的問題識別過程。資料問題洞察,本質上就是基於資料指標體系,以“資料流、資訊流、業務流”的基本邏輯框架,在限定的範圍內及時洞察資料質量問題的根源,並逆向推動業務資訊化和業務管理的改善和提升。

1.資料流層面:

企業資料問題的洞察始於資料流層面的對指標體系的梳理。指標體系裡包含指標和維度,指標即是目標,維度是資料的視角。在確定指標體系後,就需要標準化指標的定義與計算口徑、計算邏輯,包括對不同計算口徑的版本管理。在計算口徑確認後,就需要順著計算邏輯逐層向下追蹤,檢視資料能否被獲取到。

v2-f6f329ac5f1fccc3a6e8b0b462548054_720w.jpg

2.資訊流層面:

如果在資料流層面出現了問題,比方說資料不能被獲取到,那麼問題很有可能出在資訊流層面,例如資訊系統建設存在問題導致資料沒有被收集。在這種情況下,可以透過手動填報的方式補錄資料,也可以在後續的階段中完善資訊系統的建設。這一過程體現了從資料流到資訊流的分析,企業能夠更深層次地洞察資料問題的本質,透過資料流暴露的問題來逆向推動未來資訊流建設的完善,進而支撐更全面的指標體系。

3.業務流層面:

資料流層面出現問題,排除資訊流層面存在的資訊系統建設問題,還有可能是業務流層面的管理問題導致的。例如同一個指標有不同的計算口徑,這就不是資訊系統的問題,而是管理自身的問題,是由於部門間的衝突而導致的。從資料流到業務流的分析,企業可以透過表層的資料問題洞察到自身業務流程上存在的弊端,從而逆向完善業務管理流程和管理邊界。

在這樣金字塔式的資料問題洞察方法下,透過階段性、有限的指標體系框定了取數的來源範圍,因此不會盲目地擴大資料治理的範圍和目標。透過在限定的系統範圍內洞察存在問題的資料,可以形成有針對性的資料治理策略,讓問題聚焦。最後透過階段性的識別問題、解決問題,可以由點到面、由淺及深,暴露的問題逐步解決,保障階段性的建設成果。

企業表層資料問題的產生往往有深層次的業務系統設計、流程制度管理方面的原因,因此要想透過資料治理提升企業資料的質量,就不能僅僅依靠一個工具或產品解決表象的問題。我們提出了企業資料治理的拉式策略(Pull Strategy)和推式策略(Push Strategy)來滿足不同的資料治理需求。

考慮到當今企業面臨的複雜環境,實施週期更短、治理成本更低的拉式治理策略更能及時滿足企業資料消費的需求,是一種更靈活、更敏捷的資料治理方式。在該策略下,基於指標體系的資料流-資訊流-業務流分析邏輯能夠幫助企業發現、洞察、追蹤資料問題產生的根源;穩健的資料架構設計能夠幫助企業解決資料質量的問題;資料應用稽核管控機制的建立能夠幫助企業解決錯誤資料被使用的問題。經過系統化的資料治理,企業資料質量將更能滿足消費的需求,基於資料的決策也將更加精準。

帆軟產品免費試用

企業戰情室報表軟體

企業戰情室報表軟體

複雜報表/戰情室/資料填報/數位孿生

企業商業智慧BI軟體

企業商業智慧BI軟體

自助資料處理/Dashboard/探索分析

一站式資料整合平台

一站式資料整合平台

資料同步/ETL資料開發/API資料服務

免費資源下載

×

立即下載

姓名

郵箱

公司完整名稱

管道了解

-- 您是怎麽瞭解的我們 --

網路搜尋
Facebook臉書
媒體/部落格/論壇
YouTube
電子報
線下展會
線下課程
他人推薦
其他

職位

-- 選擇您的職稱 --

IT資訊&數據部門
一般部門
管理/ 決策者
老師
學生
其他

是否有報表/BI/數位建設需求?

-- 請選擇 --

沒有
不確定

手機號碼

SMS 驗證碼

×

立即下載

姓名

郵箱

公司完整名稱

管道了解

-- 您是怎麽瞭解的我們 --

網路搜尋
Facebook臉書
媒體/部落格/論壇
YouTube
電子報
線下展會
線下課程
他人推薦
其他

職位

-- 選擇您的職稱 --

IT資訊&數據部門
一般部門
管理/ 決策者
老師
學生
其他

是否有報表/BI/數位建設需求?

-- 請選擇 --

沒有
不確定

手機號碼

SMS 驗證碼

×

立即下載

姓名

郵箱

公司完整名稱

管道了解

-- 您是怎麽瞭解的我們 --

網路搜尋
Facebook臉書
媒體/部落格/論壇
YouTube
電子報
線下展會
線下課程
他人推薦
其他

職位

-- 選擇您的職稱 --

IT資訊&數據部門
一般部門
管理/ 決策者
老師
學生
其他

是否有報表/BI/數位建設需求?

-- 請選擇 --

沒有
不確定

手機號碼

SMS 驗證碼

×

立即下載

姓名

郵箱

公司完整名稱

管道了解

-- 您是怎麽瞭解的我們 --

網路搜尋
Facebook臉書
媒體/部落格/論壇
YouTube
電子報
線下展會
線下課程
他人推薦
其他

職位

-- 選擇您的職稱 --

IT資訊&數據部門
一般部門
管理/ 決策者
老師
學生
其他

是否有報表/BI/數位建設需求?

-- 請選擇 --

沒有
不確定

手機號碼

SMS 驗證碼

×

立即下載

姓名

郵箱

公司完整名稱

管道了解

-- 您是怎麽瞭解的我們 --

網路搜尋
Facebook臉書
媒體/部落格/論壇
YouTube
電子報
線下展會
線下課程
他人推薦
其他

職位

-- 選擇您的職稱 --

IT資訊&數據部門
一般部門
管理/ 決策者
老師
學生
其他

是否有報表/BI/數位建設需求?

-- 請選擇 --

沒有
不確定

手機號碼

SMS 驗證碼

×

立即下載

姓名

郵箱

公司完整名稱

管道了解

-- 您是怎麽瞭解的我們 --

網路搜尋
Facebook臉書
媒體/部落格/論壇
YouTube
電子報
線下展會
線下課程
他人推薦
其他

職位

-- 選擇您的職稱 --

IT資訊&數據部門
一般部門
管理/ 決策者
老師
學生
其他

是否有報表/BI/數位建設需求?

-- 請選擇 --

沒有
不確定

手機號碼

SMS 驗證碼

我們很樂意傾聽你的需求,解答您的疑問,並提供專業建議, 助力您的企業實現智慧轉型!

×

投訴表單

姓名

電郵

公司

國家

-- select an option --

電話

投訴原因

請選擇投訴原因

代理商問題
產品問題
技術支援服務問題
專案問題
銷售問題
商務問題
行銷問題
其他

投訴內容