數據治理(Data Governance)是企業對資料資產管理行使權力和控制的活動集合(包括計劃、監督和執行),它是管理企業資料資源的一種方式、方法,旨在確保資料的質量、安全、合規和有效性。數據治理是企業實現資料戰略的基礎,是一個管理體系,包括組織、制度、流程和工具。
數據治理是一套複雜的管理體系,它無法透過單一的工具或產品來實現。資料的生命週期包含了源頭、處理和消費這三個階段,資料的問題也可能會出現在這三個環節中。例如在資料來源頭環節,使用者錄入資料的規範性存在問題,導致了最終資料消費環節的資料質量低。這些表象問題的根源,可能來自於業務系統使用者互動設計,乃至是底層資料庫表結構設計上的缺陷。想要解決這些表象的問題,就需要解決深層次的資訊化業務系統開發以及資料庫表約束設計等問題。
例如為了保證使用者錄入資料的準確性,有三種方式去設計業務系統:
因此,企業的數據治理遠非使用一款單一的工具或產品就可以實現的,它是需要回到源頭,對企業的組織、流程制度、業務系統、底層架構等多個方面進行排查和重構的,它是一套複雜的管理體系。
考慮到數據治理工程的複雜性,我們提出了兩種目的性不同的數據治理策略:拉式策略(Pull Strategy)和推式策略(Push Strategy)。
拉式策略,面向資料應用,是以提升資料應用過程中的資料準確性為目標的數據治理建設策略。它強調在資料應用的過程中定位和解決問題,以資料應用專案為建設週期。具體而言,拉式策略有三個特點:
推式策略,面向資料全生命週期的管理與控制,是一種體系化的數據治理建設策略。它強調體系化的計劃、監督、預防與執行,包括多年計劃的資料策略週期。具體而言,推式策略有三個特點:
拉式策略以資料應用需求為起點,推式策略以標準規劃為起點,兩種策略在多個方面有差異:
根據多數企業的實踐經驗,以資料應用需求為起點的拉式策略有著更短的實施週期和更低的投入成本,是一種更加靈活、更加敏捷的數據治理策略,我們將在下文中著重介紹這種數據治理策略。
以提升資料應用過程中資料準確性為目標的拉式數據治理建設策略主要包括3個流程:
(1)基於指標體系的資料問題洞察:基於資料指標體系,以“資料流、資訊流、業務流”的基本邏輯框架,在限定的範圍內及時洞察資料質量問題的根源,並逆向推動業務資訊化和業務管理的改善和提升;
(2)穩健的資料架構設計:透過資料倉庫建模、合理的分層設計、ETL 過程開發等,保障資料模型及架構的穩健性和可擴充套件性,提高資料使用的準確性;
(3)資料應用稽核管控機制:建立面向高層管理的資料指標管控及稽核機制,確保資料應用過程中(上報、視覺化分析)關鍵資料必須經過有效稽核,提升資料使用質量及資料準確性。
資料問題的洞察過程可以分為5個步驟:
第一步是企業內部的資料收集和需求調研;
第二步是指標體系梳理;
第三步是確認視覺化原型設計方案;
第四步是“資料流-資訊流-業務流”的問題識別過程;
第五步是暴露問題,形成資料質量提高待辦。
這些步驟中最為重要的是第二步指標體系的梳理和第四步“資料流-資訊流-業務流”的問題識別過程。資料問題洞察,本質上就是基於資料指標體系,以“資料流、資訊流、業務流”的基本邏輯框架,在限定的範圍內及時洞察資料質量問題的根源,並逆向推動業務資訊化和業務管理的改善和提升。
企業資料問題的洞察始於資料流層面的對指標體系的梳理。指標體系裡包含指標和維度,指標即是目標,維度是資料的視角。在確定指標體系後,就需要標準化指標的定義與計算口徑、計算邏輯,包括對不同計算口徑的版本管理。在計算口徑確認後,就需要順著計算邏輯逐層向下追蹤,檢視資料能否被獲取到。
如果在資料流層面出現了問題,比方說資料不能被獲取到,那麼問題很有可能出在資訊流層面,例如資訊系統建設存在問題導致資料沒有被收集。在這種情況下,可以透過手動填報的方式補錄資料,也可以在後續的階段中完善資訊系統的建設。這一過程體現了從資料流到資訊流的分析,企業能夠更深層次地洞察資料問題的本質,透過資料流暴露的問題來逆向推動未來資訊流建設的完善,進而支撐更全面的指標體系。
資料流層面出現問題,排除資訊流層面存在的資訊系統建設問題,還有可能是業務流層面的管理問題導致的。例如同一個指標有不同的計算口徑,這就不是資訊系統的問題,而是管理自身的問題,是由於部門間的衝突而導致的。從資料流到業務流的分析,企業可以透過表層的資料問題洞察到自身業務流程上存在的弊端,從而逆向完善業務管理流程和管理邊界。
在這樣金字塔式的資料問題洞察方法下,透過階段性、有限的指標體系框定了取數的來源範圍,因此不會盲目地擴大資料治理的範圍和目標。透過在限定的系統範圍內洞察存在問題的資料,可以形成有針對性的資料治理策略,讓問題聚焦。最後透過階段性的識別問題、解決問題,可以由點到面、由淺及深,暴露的問題逐步解決,保障階段性的建設成果。
企業表層資料問題的產生往往有深層次的業務系統設計、流程制度管理方面的原因,因此要想透過資料治理提升企業資料的質量,就不能僅僅依靠一個工具或產品解決表象的問題。我們提出了企業資料治理的拉式策略(Pull Strategy)和推式策略(Push Strategy)來滿足不同的資料治理需求。
考慮到當今企業面臨的複雜環境,實施週期更短、治理成本更低的拉式治理策略更能及時滿足企業資料消費的需求,是一種更靈活、更敏捷的資料治理方式。在該策略下,基於指標體系的“資料流-資訊流-業務流”分析邏輯能夠幫助企業發現、洞察、追蹤資料問題產生的根源;穩健的資料架構設計能夠幫助企業解決資料質量的問題;資料應用稽核管控機制的建立能夠幫助企業解決錯誤資料被使用的問題。經過系統化的資料治理,企業資料質量將更能滿足消費的需求,基於資料的決策也將更加精準。
免費資源下載