建站
咨詢
售后
建站咨詢
新聞中心
數(shù)據(jù)治理是企業(yè)數(shù)據(jù)建設必不可少的一個環(huán)節(jié)。
創(chuàng)新互聯(lián)主營巴林右旗網(wǎng)站建設的網(wǎng)絡公司,主營網(wǎng)站建設方案,成都app軟件開發(fā)公司,巴林右旗h5小程序制作搭建,巴林右旗網(wǎng)站營銷推廣歡迎巴林右旗等地區(qū)企業(yè)咨詢
好的數(shù)據(jù)治理體系可以盤活整條數(shù)據(jù)鏈路，最大化保障企業(yè)數(shù)據(jù)的采集、存儲、計算和使用過程的可控和可追溯。
如何構建企業(yè)數(shù)據(jù)治理體系？企業(yè)數(shù)據(jù)治理過程需要注意哪些問題？總體而言，不能一口一個胖子，路要一步一步地走。
下面我將結合企業(yè)級數(shù)據(jù)治理經(jīng)驗，詳細介紹從0到1搭建數(shù)據(jù)治理體系全流程，幫你梳理數(shù)據(jù)治理的主要內容以及過程中會遇到的哪些坑。
1 數(shù)據(jù)治理到底是在做什么
1.1 一個小故事
在正文之前，我先介紹一個小故事。
年底了，企業(yè)財務管理員小張需要統(tǒng)計公司的金融財務情況。忙碌了一年，公司老板亟需知道公司目前的運營狀況。
小張需要考慮哪幾個點呢：
- 公司目前有哪些財產(chǎn)？
- 這些財產(chǎn)從哪里來？用到了哪些地方？
- 是否所有財產(chǎn)的使用均符合規(guī)范和制度？
幸好小張年初已經(jīng)制定了一套管理標準。每筆財產(chǎn)的出入都有記錄且嚴格把控使用情況，過程可追溯可審查。
最后，小張得到了領導們的一致好評。
1.2 數(shù)據(jù)治理做的事情
故事中的小張監(jiān)管著公司所有金融財產(chǎn)活動，確保財產(chǎn)使用的有序高效。這也是數(shù)據(jù)治理角色的類似功能。
數(shù)據(jù)治理的核心工作： 在企業(yè)的數(shù)據(jù)建設進程中，保障企業(yè)的數(shù)據(jù)資產(chǎn)得到正確有效地管理。
一般來說，數(shù)據(jù)從外部或者內部產(chǎn)生后，經(jīng)過大數(shù)據(jù)手段處理，流轉到不同的業(yè)務端，為企業(yè)的上層應用提供數(shù)據(jù)賦能。
整個過程，如圖所示。
- 我們先做一些類似數(shù)據(jù)同步的工作將數(shù)據(jù)放入到大數(shù)據(jù)系統(tǒng)中
- 數(shù)據(jù)進來后需要管理和存儲，即參考建模理論和實際場景建設數(shù)倉
- 經(jīng)過主題規(guī)劃、維度確定、標簽計算輸出等步驟處理
- 數(shù)據(jù)輸出到報表、應用端使用
整體流程數(shù)據(jù)治理體系將全程監(jiān)管。要確認進出系統(tǒng)的??數(shù)據(jù)質量???怎么樣？是否可轉化??數(shù)據(jù)資產(chǎn)???？??數(shù)據(jù)血緣???是否可追溯、??數(shù)據(jù)安全??等問題。
臟亂差的數(shù)據(jù)是無法使用的，甚至嚴重埋雷。
2 為什么要做數(shù)據(jù)治理
有一些企業(yè)對這個問題的概念很模糊，認為目前的數(shù)據(jù)規(guī)模很小，人為可控，暫時不需要做數(shù)據(jù)治理。
但是在實際使用中還是會遇到很多問題：
- 數(shù)據(jù)監(jiān)管力度不夠，出現(xiàn)臟數(shù)據(jù)
- 數(shù)據(jù)體系逐漸規(guī)模變大，管理混亂
- 數(shù)據(jù)的血緣丟失，無法回溯舊、老的數(shù)據(jù)
無論企業(yè)的數(shù)據(jù)規(guī)模如何，我認為還是提起做好數(shù)據(jù)治理的規(guī)劃?？紤]到成本的問題，可以分階段進行。
為什么要進行數(shù)據(jù)治理：
- 你的數(shù)據(jù)是否真的可用，缺失和異常值怎么辦？
- 數(shù)據(jù)從哪里來到哪里去，血緣信息是否丟失
- 數(shù)據(jù)訪問是否安全，明文標識還是加密？
- 新的數(shù)據(jù)加工參考什么規(guī)范，維度和標簽管理是否存在標準？
有劍在手不用和無劍可用是兩回事。提前做好數(shù)據(jù)治理規(guī)劃，會節(jié)省后續(xù)的改造成本，避免過程冗余重構或者推倒重來等情況的發(fā)生。
數(shù)據(jù)治理可以有效保障數(shù)據(jù)建設過程在一個合理高效的監(jiān)管體系下進行，最終提供高質量、安全、流程可追溯的業(yè)務數(shù)據(jù)。
3 數(shù)據(jù)治理體系
企業(yè)數(shù)據(jù)治理體系包括數(shù)據(jù)質量管理、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)安全及數(shù)據(jù)標準等內容。
1）數(shù)據(jù)質量
一般采用業(yè)內常用的標準來衡量數(shù)據(jù)質量的好壞：完整性、準確性、一致性和及時性。
- 完整性：數(shù)據(jù)的記錄和信息是否完整，是否存在缺失情況
- 準確性：數(shù)據(jù)匯總記錄的信息和數(shù)據(jù)是否準確，是否存在異?；蛘咤e誤
- 一致性：多個業(yè)務數(shù)倉間的公共數(shù)據(jù)，必須在各個數(shù)據(jù)倉庫中保持一致
- 及時性：數(shù)據(jù)能及時產(chǎn)出和預警
2）元數(shù)據(jù)管理
元數(shù)據(jù)是關于數(shù)據(jù)的組織、數(shù)據(jù)域及其關系的信息，通俗理解，元數(shù)據(jù)就是描述數(shù)據(jù)的數(shù)據(jù)。
元數(shù)據(jù)包含技術元數(shù)據(jù)和業(yè)務元數(shù)據(jù)。可以幫助數(shù)據(jù)分析人員清楚了解企業(yè)擁有什么數(shù)據(jù)，它們存儲在哪里，如何抽取、清理、維護z這類數(shù)據(jù)，也即數(shù)據(jù)血緣。
- 幫助構建業(yè)務知識體系，確立數(shù)據(jù)業(yè)務含義可解釋性
- 提升數(shù)據(jù)整合和溯源能力，血緣關系可維護
- 建立數(shù)據(jù)質量稽核體系，分類管理監(jiān)控
3）主數(shù)據(jù)管理
企業(yè)主數(shù)據(jù)指企業(yè)內一致并共享的業(yè)務主體，大白話理解就是各專業(yè)公司和業(yè)務系統(tǒng)間共享的數(shù)據(jù)。
常見的主數(shù)據(jù)比如公司的員工、客戶數(shù)據(jù)、機構信息、供應商信息等。這些數(shù)據(jù)具有權威性和全局性，可歸約至公司的企業(yè)資產(chǎn)。
一般主數(shù)據(jù)管理需要遵循如下幾點：
- 管理和監(jiān)管各組織機構、子公司、部門對主數(shù)據(jù)的訪問，制定訪問規(guī)范和管理原則
- 定期進行主數(shù)據(jù)評估，判斷既定目標的完善程度
- 組織相關人員和機構，統(tǒng)一完善主數(shù)據(jù)建設
- 提供技術和業(yè)務流程支持，全集團集中統(tǒng)籌
4）數(shù)據(jù)資產(chǎn)管理
一般企業(yè)在數(shù)字化轉型時都會考慮數(shù)據(jù)資產(chǎn)梳理。你的數(shù)據(jù)有沒有被合理利用？如何產(chǎn)生最大價值？這是數(shù)據(jù)資產(chǎn)管理關心的核心工作。
在構建企業(yè)資產(chǎn)時一般會考慮不同角度，即業(yè)務角度和技術角度，最后進行合并，輸出統(tǒng)一的數(shù)據(jù)資產(chǎn)分析，并向外提供統(tǒng)一的數(shù)據(jù)資產(chǎn)查詢服務。
如何盤活數(shù)據(jù)，形成數(shù)據(jù)資產(chǎn)，提供完整的數(shù)據(jù)資產(chǎn)全景視圖，可方便運營者全局、宏觀地掌控企業(yè)資產(chǎn)動態(tài)。
5）數(shù)據(jù)安全
數(shù)據(jù)安全是企業(yè)數(shù)據(jù)建設必不可少的一環(huán)，我們的數(shù)據(jù)都存儲在大大小小的磁盤中，對外提供不同程度的查詢和計算服務。
需要定時對數(shù)據(jù)進行核查、敏感字段加密、訪問權限控制，確保數(shù)據(jù)能夠被安全地使用。
6）數(shù)據(jù)標準
大白話理解，我們需要在組織內定義一套關于數(shù)據(jù)的規(guī)范，好讓我們都能理解這些數(shù)據(jù)的含義。
今天張三說這個客戶號是辦理銀行卡的客戶，明天李四又說是借貸過的客戶。對比一看，兩者的字段類型和長度一致，到底要采納哪個意見呢？
數(shù)據(jù)標準是保障數(shù)據(jù)的內外部使用和交換的一致性和準確性的規(guī)范性約束，通過統(tǒng)一規(guī)范，消除二義性。
4 企業(yè)數(shù)據(jù)治理實施過程
4.1 數(shù)據(jù)治理實施框架
數(shù)據(jù)治理體系是為了規(guī)范業(yè)務數(shù)據(jù)規(guī)范、數(shù)據(jù)標準、數(shù)據(jù)質量和數(shù)據(jù)安全中的各類管理任務活動而建立的組織、流程與工具。
通過一個常態(tài)化的數(shù)據(jù)治理組織，建立數(shù)據(jù)集中管理長效機制，規(guī)范數(shù)據(jù)管控流程，提升數(shù)據(jù)質量，促進數(shù)據(jù)標準一致，保障數(shù)據(jù)共享與使用安全，從而提高企業(yè)運營效率和管理水平。
4.2 數(shù)據(jù)治理組織架構
企業(yè)數(shù)據(jù)治理體系除了在技術方面的實施架構，還需要管理方面的組織架構支撐。
一般在數(shù)據(jù)治理建設初期，集團會先成立數(shù)據(jù)治理管理委員會。從上至下由決策層、管理層、執(zhí)行層構成。決策層決策、管理層制定方案、執(zhí)行層實施。層級管理、統(tǒng)一協(xié)調。
4.2.1 組織架構
1）決策層
提供數(shù)據(jù)標準管理的決策職能，通俗理解即拍板定方案。
2）管理層
- 審議數(shù)據(jù)標準管理相關制度
- 對跨部門難的數(shù)據(jù)標準管理爭議事項進行討論并決策
- 管理重大數(shù)據(jù)標準事項，提交信息科技管理委員會審議
3）執(zhí)行層
- 業(yè)務部門：負責業(yè)務線數(shù)據(jù)標準的制定、修改、復審，推廣落實數(shù)據(jù)標準等
- 科技開發(fā)：承擔治理平臺、數(shù)據(jù)標準、數(shù)據(jù)質量等實施工作；系統(tǒng)設計和開發(fā)工作中遵循數(shù)據(jù)標準
- 科技運營：負責技術標準的制定和技術推廣
4.2.2 管理層職責
1）項目經(jīng)理
- 確定項目目標、范圍和計劃
- 制定項目里程碑
- 管理跨項目協(xié)同
2）專家評審組
評審項目方案，確定方案的合理性
3）PMO
- 確保項目按計劃執(zhí)行
- 管理項目重大風險
- 執(zhí)行跨項目協(xié)同、溝通
- 組織項目關鍵評審
3）數(shù)據(jù)治理專項組
執(zhí)行各項目的落地實施和運營推廣，推動執(zhí)行層的實施數(shù)據(jù)治理技術落地和項目進展。
4.2.3 執(zhí)行層職責
數(shù)據(jù)架構師、數(shù)據(jù)治理專家和業(yè)務專員形成數(shù)據(jù)治理"鐵三角"，緊密協(xié)作，推進數(shù)據(jù)治理與數(shù)據(jù)架構落地。
1）業(yè)務專員
業(yè)務專員作為業(yè)務部門數(shù)據(jù)治理的接口人，在標準、質量、應用等領域組織業(yè)務人員開展工作
- 定義數(shù)據(jù)規(guī)則
- 保障數(shù)據(jù)質量
- 提出數(shù)據(jù)需求
2）數(shù)據(jù)治理專家
數(shù)據(jù)治理專家作為數(shù)據(jù)治理組成員，負責設計數(shù)據(jù)架構，運營數(shù)據(jù)資產(chǎn)；牽頭組織業(yè)務、IT達成數(shù)據(jù)治理目標。
- 構建數(shù)據(jù)邏輯模型
- 監(jiān)控數(shù)據(jù)質量
- 運營數(shù)據(jù)資產(chǎn)
3）數(shù)據(jù)架構師
數(shù)據(jù)架構師作為IT開發(fā)部門的專家，承擔數(shù)據(jù)標準落地、模型落地的重任，協(xié)助解決數(shù)據(jù)質量問題。
- 數(shù)據(jù)標準落地
- 邏輯模型落地
- 物理模型落地
4.3 數(shù)據(jù)治理平臺
在確定了技術實施方案和組織管理架構，下面需要進行數(shù)據(jù)治理體系的落地實施。
在大型企業(yè)中一般會開發(fā)一個完整的數(shù)據(jù)治理平臺，囊括所有數(shù)據(jù)治理功能，對外提供平臺服務。
1）核心功能
數(shù)據(jù)治理平臺作為數(shù)據(jù)治理的產(chǎn)品體系，旨在保障數(shù)據(jù)平臺的數(shù)據(jù)是安全、可靠的、標準的、有價值的。
- 數(shù)據(jù)資產(chǎn)管理：提供面向用戶的場景化搜素，提供全景數(shù)據(jù)資產(chǎn)地圖，方便快速查找資產(chǎn)和資產(chǎn)分析
- 數(shù)據(jù)標準管理：統(tǒng)一定制數(shù)據(jù)標準，提高包括字段、碼值、數(shù)據(jù)字典管理，保障業(yè)務數(shù)據(jù)和中臺數(shù)據(jù)的統(tǒng)一標準
- 數(shù)據(jù)質量監(jiān)控：提供事前、事中、事后的數(shù)據(jù)質量體系，支持數(shù)據(jù)質量監(jiān)控規(guī)則配置、告警管理等功能
- 數(shù)據(jù)安全：提供數(shù)據(jù)安全脫敏、安全分級和監(jiān)控
- 數(shù)據(jù)建模中心：統(tǒng)一建模，提供業(yè)務系統(tǒng)建模和模型管理
2）元數(shù)據(jù)管理
元數(shù)據(jù)管理系統(tǒng)作為數(shù)據(jù)治理平臺的前端展示門戶，幫助實現(xiàn)對數(shù)據(jù)資產(chǎn)的??快速檢索??能力，提高數(shù)據(jù)使用有效性和效率。
通過建立完整且一致的元數(shù)據(jù)管理策略，提供集中、統(tǒng)一、規(guī)范的元數(shù)據(jù)信息訪問、查詢和調用功能。
3）數(shù)據(jù)質量
- 數(shù)據(jù)質量監(jiān)控：支持所有用戶進行數(shù)據(jù)質量監(jiān)控規(guī)則配置
- 規(guī)則阻斷：配置數(shù)據(jù)質量監(jiān)控阻斷規(guī)則，數(shù)據(jù)質量出現(xiàn)差異可實時阻斷下游作業(yè)運行，屏蔽錯誤結果鏈路擴散。
- 告警：數(shù)據(jù)質量出現(xiàn)預設偏差，及時發(fā)出預警通知及時修復
4）數(shù)據(jù)標準
支持定制統(tǒng)一的數(shù)據(jù)標準平臺，包括字段標準管理，碼值標準管理以及字典管理，業(yè)務源數(shù)據(jù)和中臺數(shù)據(jù)統(tǒng)一標準。
5）數(shù)據(jù)安全
基于集團數(shù)據(jù)資產(chǎn)實現(xiàn)數(shù)據(jù)安全分級管理，自動識別安全信息；提供數(shù)據(jù)訪問安全行為監(jiān)測，及時識別訪問風險。
4.4 數(shù)據(jù)治理評估
數(shù)據(jù)治理平臺開發(fā)完成并運行，需要對整體數(shù)據(jù)治理體系的效果進行驗證和評估。
1）數(shù)據(jù)是否可以消除"臟、亂、差"的現(xiàn)象
2）數(shù)據(jù)資產(chǎn)是否最大價值化
3）所有數(shù)據(jù)的血緣是否完整可追溯。。。
1）數(shù)據(jù)資產(chǎn)
通過構建數(shù)據(jù)資產(chǎn)管理體系，實現(xiàn)資產(chǎn)全覆蓋，并支持全局搜索和精準定位目標資產(chǎn)。
- 實現(xiàn)全局搜索，面向用戶提供場景化檢索服務
- 支持標簽、數(shù)據(jù)地圖、表名和字段名等多種檢索維度
- 支持進行數(shù)據(jù)地圖，源業(yè)務數(shù)據(jù)字典的結果篩選
- 比如支持PV/UV用戶搜索和資產(chǎn)展示，明確服務目標
2）數(shù)據(jù)標準
新舊數(shù)據(jù)標準沉淀，打通了數(shù)據(jù)建模工具、數(shù)據(jù)標準庫和詞根標準庫，落地數(shù)據(jù)標準和詞根。
- 實現(xiàn)數(shù)據(jù)標準庫100%拉通
- 智能識別數(shù)據(jù)標準和引用
- 客戶端同步更新數(shù)據(jù)標準、詞根
3）數(shù)據(jù)安全
保持事前制度建設、事中技術管控、事后監(jiān)控審計的原則建立全流程數(shù)據(jù)安全管控體系。
基于以上數(shù)據(jù)安全管控體系，支持數(shù)據(jù)安全定級，構建靈活的數(shù)據(jù)安全共享流程。
4）數(shù)據(jù)質量
通過數(shù)據(jù)質量雷達圖，定期進行數(shù)據(jù)和任務質量打分，綜合考察數(shù)據(jù)質量效果。
- 數(shù)據(jù)完整性：查看數(shù)據(jù)項信息是否全面、完整無缺失
- 告警響應程度：日常管理、應急響應、降低影響；避免數(shù)據(jù)損毀和丟失
- 監(jiān)控覆蓋程度：確保數(shù)據(jù)遵循統(tǒng)一的數(shù)據(jù)標準和規(guī)范要求
- 作業(yè)穩(wěn)定性：監(jiān)控作業(yè)穩(wěn)定性，是否存在作業(yè)異常等問題
- 作業(yè)時效性：檢查任務對應的數(shù)據(jù)項信息獲取是否滿足預期要求
5 數(shù)據(jù)治理的幾點誤區(qū)
1）數(shù)據(jù)治理是否要做得大而全
這是一個經(jīng)典問題，一般對于不同階段和規(guī)模的企業(yè)，數(shù)據(jù)治理的實施程度會有所不同。一般建議先根據(jù)自身的數(shù)據(jù)狀況分階段進行，避免盲目鋪開規(guī)模，過程中可調整。
2）數(shù)據(jù)治理只是技術考慮的事情
正如文中所說，數(shù)據(jù)治理不僅僅是技術團隊的事情，而是整個集團一起協(xié)作完成。其中就包括各業(yè)務線以及其他管理組織，沒有一個好的實施方案和協(xié)作機制，往往事倍功半。
3）數(shù)據(jù)治理可以短期見效
數(shù)據(jù)治理是個長期過程，會跟隨著企業(yè)數(shù)據(jù)的規(guī)模和數(shù)倉規(guī)劃的變更同步調整，部分功能可能會在短期內卓有成效，完整體系搭建短期很難實現(xiàn)。
4）必須得有工具平臺，才能開展數(shù)據(jù)治理
俗話說工欲善其事必先利其器，有好的工具當然是更好，前提是已經(jīng)有了成熟的數(shù)據(jù)治理體系規(guī)劃和策略。工具和技術手段目前市面上很成熟，先把理論給鋪墊好。
5）數(shù)據(jù)治理感覺很模糊？不知道最后的落地結果
數(shù)據(jù)治理是一個長期工作，需要相關從業(yè)者根據(jù)企業(yè)的數(shù)據(jù)現(xiàn)狀和管理模式去構建和調整，建議邊做實踐邊總結歸納，小步慢跑是一個很好的方式。
分享標題：企業(yè)級數(shù)據(jù)治理體系建設全面指南
新聞來源：http://www.dlmjj.cn/article/dpiihpo.html
