二、如何面向用戶開展大數(shù)據(jù)治理？

1、面向用戶的大數(shù)據(jù)治理實(shí)踐案例

很多企業(yè)經(jīng)過一段時(shí)間的摸索，已經(jīng)看到了用戶對(duì)大數(shù)據(jù)治理的這種需求，大數(shù)據(jù)治理也持續(xù)在各行業(yè)的大數(shù)據(jù)平臺(tái)建設(shè)中得到關(guān)注。

在我參與過的項(xiàng)目中給大家舉個(gè)例子。最近普元主導(dǎo)了某電力公司的新一代數(shù)據(jù)治理平臺(tái)建設(shè)，我們?nèi)诤显撾娏粳F(xiàn)有的數(shù)據(jù)管理工具建設(shè)成果，以元數(shù)據(jù)為基礎(chǔ)，實(shí)現(xiàn)了貫穿數(shù)據(jù)設(shè)計(jì)、產(chǎn)生、存儲(chǔ)、遷移、使用、歸檔等環(huán)節(jié)的數(shù)據(jù)全生命周期管理，以及數(shù)據(jù)從源端到數(shù)據(jù)中心，再到應(yīng)用端的全過程的管理，做到了以用戶為中心，通過大數(shù)據(jù)治理，為用戶提供了更便捷、更靈活、更準(zhǔn)確地獲得企業(yè)大數(shù)據(jù)資產(chǎn)的能力。

該電力公司的大數(shù)據(jù)治理的起點(diǎn)是先以元數(shù)據(jù)為基礎(chǔ)，構(gòu)建數(shù)據(jù)資產(chǎn)管理體系。從用戶的視角說明白企業(yè)數(shù)據(jù)有哪些，哪些用戶能夠使用。在該電力公司的數(shù)據(jù)資產(chǎn)定義過程中，我們選擇了貼近業(yè)務(wù)用戶的數(shù)據(jù)分類方案，梳理和識(shí)別企業(yè)運(yùn)營(yíng)數(shù)據(jù)資源。

我們又基于第一步形成的數(shù)據(jù)分類管理體系框架，梳理、整合各級(jí)各類數(shù)據(jù)資源，建立了數(shù)據(jù)資產(chǎn)樹，按照不同數(shù)據(jù)細(xì)類制定相應(yīng)的工作模板，對(duì)指標(biāo)數(shù)據(jù)和明細(xì)數(shù)據(jù)進(jìn)行梳理和歸并。

所有資產(chǎn)梳理和控制的最終目標(biāo)都是為了用戶能夠使用數(shù)據(jù)，我們通過L0–L1–L2三個(gè)層次的定義，以業(yè)務(wù)驅(qū)動(dòng)為導(dǎo)向提高數(shù)據(jù)查詢的實(shí)用性。

L0：按照電網(wǎng)業(yè)務(wù)域–業(yè)務(wù)主題–業(yè)務(wù)活動(dòng)的結(jié)構(gòu)化方法，對(duì)查詢進(jìn)行分類導(dǎo)航。

L1：依據(jù)業(yè)務(wù)和數(shù)據(jù)源中數(shù)據(jù)資源情況，按業(yè)務(wù)主題對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和定義。

L2：將數(shù)據(jù)庫表字段等技術(shù)元數(shù)據(jù)轉(zhuǎn)換為業(yè)務(wù)人員可以理解的業(yè)務(wù)元數(shù)據(jù)。

我們通過梳理數(shù)據(jù)、管理數(shù)據(jù)、提供數(shù)據(jù)、關(guān)聯(lián)業(yè)務(wù)，形成了一整套以用戶為中心的大數(shù)據(jù)治理能力，最終為用戶直接使用數(shù)據(jù)提供了幫助，從而使數(shù)據(jù)治理完成了從以管控為中心到以業(yè)務(wù)為中心的轉(zhuǎn)變。由于受限于篇幅這里不過多描述。

2、面向用戶的大數(shù)據(jù)治理的四個(gè)階段

面向用戶的大數(shù)據(jù)治理該如何做，我們總結(jié)了四個(gè)階段。

第一階段：全面梳理企業(yè)信息，自動(dòng)化構(gòu)建企業(yè)的數(shù)據(jù)資產(chǎn)庫

在第一階段，主要是對(duì)企業(yè)大數(shù)據(jù)的梳理，從而全面掌握企業(yè)大數(shù)據(jù)的情況，主要有以下三個(gè)方面：

• 梳理全企業(yè)數(shù)據(jù)架構(gòu)，對(duì)企業(yè)的數(shù)據(jù)模型、數(shù)據(jù)關(guān)系、數(shù)據(jù)處理有清晰化的認(rèn)識(shí)。

• 對(duì)數(shù)據(jù)資產(chǎn)形成統(tǒng)一的自動(dòng)化管理，形成企業(yè)的元數(shù)據(jù)庫。

• 對(duì)企業(yè)數(shù)據(jù)資產(chǎn)形成多種視圖，使數(shù)據(jù)資產(chǎn)能夠讓不同用戶，有不同視角的展示。

第二階段：建立管理流程，落地?cái)?shù)據(jù)標(biāo)準(zhǔn)，提升數(shù)據(jù)質(zhì)量

在第二階段，需要建立大數(shù)據(jù)管控能力，包括從業(yè)務(wù)的角度梳理企業(yè)數(shù)據(jù)質(zhì)量問題，形成質(zhì)量控制能力，形成核心數(shù)據(jù)標(biāo)準(zhǔn)，并抓標(biāo)準(zhǔn)落地。針對(duì)關(guān)鍵問題，建立數(shù)據(jù)的管理流程，少而精，控制核心問題。

在這個(gè)階段主要是為數(shù)據(jù)部門形成一套管理大數(shù)據(jù)的能力，同時(shí)為數(shù)據(jù)部門形成數(shù)據(jù)管理的工作環(huán)境。

第三階段：直接為用戶提供價(jià)值，向用戶提供數(shù)據(jù)微服務(wù)

通過前兩個(gè)階段，企業(yè)能夠建立基本的數(shù)據(jù)治理的能力，在此基礎(chǔ)上，還需要以用戶為中心，為用戶提供直接獲取數(shù)據(jù)的能力。第三階段依賴于前兩個(gè)階段能力的建設(shè)，在這個(gè)階段的目標(biāo)是向用戶提供自助化的數(shù)據(jù)服務(wù)，使用戶能夠自助地獲取和使用數(shù)據(jù)，并且在用戶的使用過程中再反過去進(jìn)一步落地標(biāo)準(zhǔn)、控制質(zhì)量。

第四階段：智能化企業(yè)知識(shí)圖譜，為全企業(yè)提供數(shù)據(jù)價(jià)值

最后一個(gè)階段是將數(shù)據(jù)沉淀成為知識(shí)，形成企業(yè)的知識(shí)圖譜，提供從“關(guān)系”的角度去分析問題的能力。

人進(jìn)行數(shù)據(jù)搜索是通過業(yè)務(wù)術(shù)語（知識(shí)）來搜索的，而知識(shí)之間是有相互聯(lián)系的，例如水果和西紅柿是上下位關(guān)系（后者是前者的具體體現(xiàn)），好的搜索除了要列出直接結(jié)果，還需要顯示與之關(guān)聯(lián)的知識(shí)，這就要建立知識(shí)圖譜。簡(jiǎn)單說知識(shí)圖譜就是概念、屬性以及概念之間的關(guān)聯(lián)關(guān)系，這個(gè)關(guān)系可以手工建立，也能通過自然語言處理等方法，對(duì)政策、法規(guī)、需求、數(shù)據(jù)庫comments、界面等多種來源進(jìn)行分析，自動(dòng)化建立起企業(yè)知識(shí)圖譜。從而使數(shù)據(jù)治理成為整個(gè)企業(yè)的數(shù)據(jù)工作環(huán)境，強(qiáng)化企業(yè)數(shù)據(jù)與知識(shí)體系之間的關(guān)聯(lián)，加快企業(yè)員工數(shù)據(jù)與知識(shí)之間的轉(zhuǎn)換效率，讓數(shù)據(jù)的深層價(jià)值得以體現(xiàn)。

通過這四個(gè)階段的建設(shè)，使數(shù)據(jù)治理平臺(tái)由數(shù)據(jù)部門的工作環(huán)境，轉(zhuǎn)變成為全企業(yè)的數(shù)據(jù)工作環(huán)境，以用戶為中心，讓用戶能夠直接使用大數(shù)據(jù)，并通過用戶的使用來管理數(shù)據(jù)，持續(xù)優(yōu)化數(shù)據(jù)質(zhì)量，在達(dá)到治理數(shù)據(jù)目標(biāo)的同時(shí)，也最大限度發(fā)揮了數(shù)據(jù)的價(jià)值。

三、面向用戶的自服務(wù)大數(shù)據(jù)治理架構(gòu)

1、自服務(wù)大數(shù)據(jù)治理架構(gòu)

以用戶為中心的自服務(wù)大數(shù)據(jù)治理技術(shù)架構(gòu)包括五部分：數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)監(jiān)控管理、數(shù)據(jù)準(zhǔn)備平臺(tái)、數(shù)據(jù)服務(wù)總線，消息與流數(shù)據(jù)管理。

整個(gè)平臺(tái)分為五塊核心能力：數(shù)據(jù)資產(chǎn)、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)服務(wù)總線、消息&流數(shù)據(jù)管理、數(shù)據(jù)監(jiān)控管理。

數(shù)據(jù)資產(chǎn)管理是對(duì)企業(yè)數(shù)據(jù)信息統(tǒng)一管理也是整個(gè)平臺(tái)的基礎(chǔ)，數(shù)據(jù)準(zhǔn)備平臺(tái)是資產(chǎn)服務(wù)化的加工廠，它不但能將原始數(shù)據(jù)通過服務(wù)形式以用戶能看懂的方式提供，也可以通過在線數(shù)據(jù)模型設(shè)計(jì)實(shí)現(xiàn)最終數(shù)據(jù)產(chǎn)品的發(fā)布，起到承上啟下的作用。

數(shù)據(jù)服務(wù)總線和消息&流數(shù)據(jù)管理的價(jià)值層次是一致的，只是從數(shù)據(jù)時(shí)效性上面對(duì)數(shù)據(jù)進(jìn)行了區(qū)分，去適應(yīng)用戶不同的管理和應(yīng)用訴求。起到數(shù)據(jù)通道和安全管理兩個(gè)核心內(nèi)容。

數(shù)據(jù)監(jiān)控管理有別于大數(shù)據(jù)中的數(shù)據(jù)節(jié)點(diǎn)管理，而是從數(shù)據(jù)管理的視角切入對(duì)數(shù)據(jù)的結(jié)構(gòu)的變化、關(guān)系的變化進(jìn)行管理和控制，它是數(shù)據(jù)持續(xù)發(fā)揮價(jià)值的監(jiān)管者。

2、自服務(wù)大數(shù)據(jù)治理的關(guān)鍵技術(shù)

（1）人工智能的知識(shí)圖譜構(gòu)建

主要有三個(gè)步驟：

• 基于企業(yè)元數(shù)據(jù)信息，通過自然語言處理、機(jī)器學(xué)習(xí)、模式識(shí)別等算法，以及業(yè)務(wù)規(guī)則過濾，實(shí)現(xiàn)知識(shí)提取；

• 以本體形式表示和存儲(chǔ)知識(shí)，自動(dòng)構(gòu)建起資產(chǎn)知識(shí)圖譜；

• 通過知識(shí)圖譜關(guān)系，利用智能搜索、關(guān)聯(lián)查詢手段，為最終用戶提供更加精確的數(shù)據(jù)。

（2）細(xì)粒度的敏感信息控制

數(shù)據(jù)內(nèi)容安全管理包括對(duì)IT系統(tǒng)和數(shù)據(jù)進(jìn)行敏感度等級(jí)劃分的定義、瀏覽、檢核，輔助安全規(guī)則在業(yè)務(wù)、技術(shù)領(lǐng)域的應(yīng)用。從功能上包括數(shù)據(jù)敏感性分級(jí)、系統(tǒng)敏感性分級(jí)，數(shù)據(jù)安全策略定義管理，安全策略輸出，安全管理報(bào)告，數(shù)據(jù)安全檢核，敏感數(shù)據(jù)角色管理，敏感數(shù)據(jù)權(quán)鑒管理及相關(guān)電子審批流程。

（3）自助化的大數(shù)據(jù)服務(wù)生產(chǎn)線

這里有4個(gè)關(guān)鍵點(diǎn)：

• 自助查詢到想要的數(shù)據(jù)；

• 自動(dòng)生成數(shù)據(jù)服務(wù)；

• 及時(shí)穩(wěn)定的獲得數(shù)據(jù)通道；

• 數(shù)據(jù)安全有保證。

通過自助化的數(shù)據(jù)生產(chǎn)線，數(shù)據(jù)使用方（業(yè)務(wù)人員）大大減少了對(duì)開發(fā)人員的依賴，80%以上的數(shù)據(jù)需求，都能通過自己進(jìn)行整合開發(fā)，最終獲取數(shù)據(jù)。讓所有用數(shù)據(jù)的人能方便得到想要的數(shù)據(jù)。

（4）多維度實(shí)時(shí)的數(shù)據(jù)資產(chǎn)信息的展示

數(shù)據(jù)治理平臺(tái)提供實(shí)時(shí)、全面的數(shù)據(jù)監(jiān)控，不僅能從作業(yè)、模型、物理資源等各方面進(jìn)行全面的數(shù)據(jù)資產(chǎn)盤點(diǎn)，還能對(duì)數(shù)據(jù)及時(shí)性、問題數(shù)據(jù)量等方面的數(shù)據(jù)健康環(huán)境進(jìn)行全面的預(yù)警。

（5）以業(yè)務(wù)元模型為核心的數(shù)據(jù)微服務(wù)

數(shù)據(jù)需要以服務(wù)的形式提供給最終用戶，在服務(wù)的提供上不能再采用傳統(tǒng)的方式，而需要用微服務(wù)的方式提供，每個(gè)單獨(dú)數(shù)據(jù)微服務(wù)自己對(duì)所提供數(shù)據(jù)做緩存，在其中利用元數(shù)據(jù)能力，把知識(shí)（業(yè)務(wù)模型）與技術(shù)（數(shù)據(jù)模型）相結(jié)合，從而向最終數(shù)據(jù)用戶提供多種數(shù)據(jù)能力，使用戶能夠以多種方式使用數(shù)據(jù)。

最后在整個(gè)大數(shù)據(jù)治理平臺(tái)的構(gòu)建中還需要滿足一系列原則，詳情參考我寫過的《敏捷數(shù)據(jù)管理的12個(gè)技術(shù)原則》。

四、總結(jié)

大數(shù)據(jù)時(shí)代，企業(yè)急需建立以用戶為中心的自服務(wù)大數(shù)據(jù)治理，信息梳理、數(shù)據(jù)管控、連接用戶、智能化是實(shí)現(xiàn)自服務(wù)大數(shù)據(jù)治理的四個(gè)主要階段，掌握一系列關(guān)鍵技術(shù)和技術(shù)原則，是實(shí)現(xiàn)自服務(wù)大數(shù)據(jù)治理的重要基礎(chǔ)。