數據治理中有哪些需要掌握的重要知識?

作者:帆軟行業化團隊

2024年9月27日 · 7 min read

來源:帆軟

之前為大家詳細介紹了兩大數據治理策略:拉式策略(Pull Strategy)與推式策略(Push Strategy)。

而其中拉式策略是一種幫助企業洞察資料問題根因,滿足資料應用需求的敏捷數據治理策略。那麼,本文將從兩個實際案例著手,幫助大家深入理解。

一、拉式策略流程

以提升資料應用過程中資料準確性為目標的拉式數據治理建設策略主要包括3個流程:

(1)基於指標體系的資料問題洞察:基於資料指標體系,以“資料流、資訊流、業務流”的基本邏輯框架,在限定的範圍內及時洞察資料質量問題的根源,並逆向推動業務資訊化和業務管理的改善和提升;

(2)穩健的資料架構設計:透過資料倉庫建模、合理的分層設計、ETL 過程開發等,保障資料模型及架構的穩健性和可擴充套件性,提高資料使用的準確性;

(3)資料應用稽核管控機制:建立面向高層管理的資料指標管控及稽核機制,確保資料應用過程中(上報、視覺化分析)關鍵資料必須經過有效稽核,提升資料使用質量及資料準確性。


二、案例1:透過“資料流”和“業務流”定位到“資訊流”層面的建設問題

1. 表象問題:

某集團內部分包導致專案產值及二級單位業績劃分不明確

2. 根因分析:

  • 在資料流層面上,發現各部門專案產值不一致,資料的準確性存在問題。基於這個問題,進一步去挖掘資訊流層面和業務流層面的根因。
  • 在業務流層面上,集團有明確的業務管理標準和規章制度,需要各部門在專案成立時就明確產值,並在繳納管理費時才需要上報產值,因此業務流層面不存在嚴重問題。
  • 在資訊流層面上,專案組織建立時存在同一個專案在資訊系統中有兩個層級專案的情況,因此NC中專案組織存在“多對一”的情況,導致系統中取自NC的專案組織的資料存在問題。

至此,我們透過“資料流”和“業務流”的分析,將資料問題定位到了“資訊流”層面的系統設計問題。

3. 解決路徑:

  • 從資訊側的角度,在NC中建立專案組織時,需要劃分專案組織層級,總承包專案部由總承包申請建立,內部分包專案部建立時需要選擇對應的總承包專案部;
  • 從資料側的角度,進行產值統計時,專案總產值僅統計一級組織的產值資料。核算各公司產值時,按照對應組織核算自施部分產值,並抵扣內部分包的產值。

4. 治理成果:

最終,透過完善業務系統中專案分級管理的機制,實現專案產值的精準核算,完成了從資料問題洞察到數據治理的過程。


 

三、案例2:透過“資料流”和“資訊流”定位到“業務流”層面的管理問題

1. 表象問題:

某集團在建專案、完工專案數量各部門資料不一致

2. 根因分析:

資料流層面上,發現在進行資料分析時,從各業務系統中獲取的資料不一致,並且項管部仍存線上下統計資料的現象。進一步分析,發現資訊流層面不同的業務系統,對專案狀態的定義模糊、不一致,例如項管部以專案部發文為開工,商務部以獲取開工報告為開工。

至此,我們已經可以明確問題的根源在於業務流層面,集團內部缺乏統一的制度、流程來明確專案各節點的劃分標準,也沒有明確以固定的流程節點劃分專案狀態。因此,要想治理各部門專案數量的資料問題,就必須在集團管理流程和標準上做出改善。

3. 解決路徑:

  • 從業務側的角度,開展跨部門的溝通交流,統一項管部、人力部、商務部的專案狀態定義標準;
  • 從資訊側的角度,完善專案狀態各階段劃分流程,在OA系統中完善、改造流程節點;
  • 從資料側的角度,根據現有流程最佳化取數邏輯,實現資料的來源一致和跨部門應用。

4. 治理成果:

最終,實現了跨部門專案資料的統一,規範了專案全生命週期的管理流程,完成了從資料問題洞察到數據治理的過程。

 

四、進行穩健的資料架構設計

在洞察到資料問題所在並進行了資料側、資訊側或者業務側的改善後,進行穩健的資料架構設計是拉式策略的第二個流程。這裡主要涉及透過資料倉庫建模、合理的分層設計、ETL 過程開發等,保障資料模型及架構的穩健性和可擴充套件性,從而提高資料使用的準確性。關於數倉建模、ETL的相關概念和過程上文已有詳細的描述,在此就不贅述。值得強調的是思考資料架構有三個出發點:穩健性、可擴充套件性和效率。

  • 資料倉庫架構的穩健性需要透過資料倉庫分層來解決;
  • 資料倉庫的可擴充套件性要透過數倉建模、維度一致性等方式來解決;
  • 效率問題需要透過多系統資料集中、處理,從流程型資料架構轉變到分析型資料架構來解決。

五、資料應用稽核管控機制

我們數據治理策略的最後一個流程是建立一個企業內部,面向高層管理者的資料指標管控及稽核機制,確保資料應用過程中(上報、視覺化分析)的關鍵資料必須經過有效稽核,提升資料使用質量及資料準確性。

以某集團的經營分析會資料稽核流程為例,集團總部的填報使用者儲存、提交資料後,資料會被鎖定並流轉至集團總部的稽核使用者處。如果資料稽核透過,它會被定版並做會前使用準備;如果資料稽核不透過,它則會被退回填報使用者處,並且系統會自動推送稽核失敗原因給填報使用者,後臺同步更新稽核記錄和狀態。

子產業集團的填報使用者提交資料後,流程情況與集團總部的填報使用者類似,只是需要額外經過一輪子產業集團稽核使用者的稽核。如果在子產業層面稽核透過,資料將會做會前準備定版,流轉至集團總部稽核使用者處。如果集團總部資料稽核不透過,資料將會被直接退回子產業資料儲存中心,並推送原因給子產業填報使用者。總之,雙重稽核流程保障了子產業集團資料上報的準確性,進而提高了集團總部高層使用資料的質量。

六、總結

企業表層資料問題的產生往往有深層次的業務系統設計、流程制度管理方面的原因,因此要想透過數據治理提升企業資料的質量,就不能僅僅依靠一個工具或產品解決表象的問題。我們提出了企業數據治理的拉式策略(Pull Strategy)和推式策略(Push Strategy)來滿足不同的數據治理需求。

考慮到當今企業面臨的複雜環境,實施週期更短、治理成本更低的拉式治理策略更能及時滿足企業資料消費的需求,是一種更靈活、更敏捷的數據治理方式。在該策略下,基於指標體系的“資料流-資訊流-業務流”分析邏輯能夠幫助企業發現、洞察、追蹤資料問題產生的根源;穩健的資料架構設計能夠幫助企業解決資料質量的問題;資料應用稽核管控機制的建立能夠幫助企業解決錯誤資料被使用的問題。經過系統化的資料治理,企業資料質量將更能滿足消費的需求,基於資料的決策也將更加精準。

帆軟產品免費試用

企業戰情室報表軟體

企業戰情室報表軟體

複雜報表/戰情室/資料填報/數位孿生

企業商業智慧BI軟體

企業商業智慧BI軟體

自助資料處理/Dashboard/探索分析

一站式資料整合平台

一站式資料整合平台

資料同步/ETL資料開發/API資料服務

免費資源下載

×

立即下載

姓名

郵箱

公司完整名稱

管道了解

-- 您是怎麽瞭解的我們 --

網路搜尋
Facebook臉書
媒體/部落格/論壇
YouTube
電子報
線下展會
線下課程
他人推薦
其他

職位

-- 選擇您的職稱 --

IT資訊&數據部門
一般部門
管理/ 決策者
老師
學生
其他

是否有報表/BI/數位建設需求?

-- 請選擇 --

沒有
不確定

手機號碼

SMS 驗證碼

×

立即下載

姓名

郵箱

公司完整名稱

管道了解

-- 您是怎麽瞭解的我們 --

網路搜尋
Facebook臉書
媒體/部落格/論壇
YouTube
電子報
線下展會
線下課程
他人推薦
其他

職位

-- 選擇您的職稱 --

IT資訊&數據部門
一般部門
管理/ 決策者
老師
學生
其他

是否有報表/BI/數位建設需求?

-- 請選擇 --

沒有
不確定

手機號碼

SMS 驗證碼

×

立即下載

姓名

郵箱

公司完整名稱

管道了解

-- 您是怎麽瞭解的我們 --

網路搜尋
Facebook臉書
媒體/部落格/論壇
YouTube
電子報
線下展會
線下課程
他人推薦
其他

職位

-- 選擇您的職稱 --

IT資訊&數據部門
一般部門
管理/ 決策者
老師
學生
其他

是否有報表/BI/數位建設需求?

-- 請選擇 --

沒有
不確定

手機號碼

SMS 驗證碼

×

立即下載

姓名

郵箱

公司完整名稱

管道了解

-- 您是怎麽瞭解的我們 --

網路搜尋
Facebook臉書
媒體/部落格/論壇
YouTube
電子報
線下展會
線下課程
他人推薦
其他

職位

-- 選擇您的職稱 --

IT資訊&數據部門
一般部門
管理/ 決策者
老師
學生
其他

是否有報表/BI/數位建設需求?

-- 請選擇 --

沒有
不確定

手機號碼

SMS 驗證碼

×

立即下載

姓名

郵箱

公司完整名稱

管道了解

-- 您是怎麽瞭解的我們 --

網路搜尋
Facebook臉書
媒體/部落格/論壇
YouTube
電子報
線下展會
線下課程
他人推薦
其他

職位

-- 選擇您的職稱 --

IT資訊&數據部門
一般部門
管理/ 決策者
老師
學生
其他

是否有報表/BI/數位建設需求?

-- 請選擇 --

沒有
不確定

手機號碼

SMS 驗證碼

×

立即下載

姓名

郵箱

公司完整名稱

管道了解

-- 您是怎麽瞭解的我們 --

網路搜尋
Facebook臉書
媒體/部落格/論壇
YouTube
電子報
線下展會
線下課程
他人推薦
其他

職位

-- 選擇您的職稱 --

IT資訊&數據部門
一般部門
管理/ 決策者
老師
學生
其他

是否有報表/BI/數位建設需求?

-- 請選擇 --

沒有
不確定

手機號碼

SMS 驗證碼

我們很樂意傾聽你的需求,解答您的疑問,並提供專業建議, 助力您的企業實現智慧轉型!

×

意見回饋

姓名

電郵

公司

國家/地區

-- select an option --

電話

投訴原因

請選擇投訴原因

代理商問題
產品問題
技術支援服務問題
專案問題
銷售問題
商務問題
行銷問題
其他

投訴內容