為什么想開這個(gè)話題，一是因?yàn)槟壳皹I(yè)內(nèi)數(shù)據(jù)產(chǎn)品也基本完成了從0-1的建設(shè)工作，但主要集中在數(shù)據(jù)生產(chǎn)加工和數(shù)據(jù)應(yīng)用分析兩側(cè)，對(duì)于數(shù)據(jù)管治方向的建設(shè)多分散在了包括安全、指標(biāo)元數(shù)據(jù)、SLA等在內(nèi)的各個(gè)環(huán)節(jié)，缺乏統(tǒng)一的規(guī)劃統(tǒng)籌，筆者認(rèn)為，數(shù)據(jù)產(chǎn)品可以分為工具類數(shù)據(jù)產(chǎn)品、業(yè)務(wù)分析類數(shù)據(jù)產(chǎn)品和管控治理類數(shù)據(jù)產(chǎn)品三類，而工具類數(shù)據(jù)產(chǎn)品和業(yè)務(wù)分析數(shù)據(jù)產(chǎn)品市面上也開始趨近飽和，但管控治理類數(shù)據(jù)產(chǎn)品其實(shí)是更高能力要求的一個(gè)細(xì)分工種，既需要懂工具建設(shè)也需要懂?dāng)?shù)據(jù)分析，還需要具備跨多團(tuán)隊(duì)橫向協(xié)調(diào)的項(xiàng)目推動(dòng)能力和策略運(yùn)營(yíng)能力；二呢，筆者曾經(jīng)就做過一次失敗的大治理工作，也做過一次相對(duì)成功的安全治理工作，也參與過指標(biāo)監(jiān)控、安全工具等的建設(shè)，所以也想把這其中那的成功和失敗的經(jīng)驗(yàn)分享出來供大家參考。

根據(jù)筆者的研究，目前業(yè)內(nèi)數(shù)據(jù)治理總結(jié)起來一共分為兩類，一類是狹義的數(shù)據(jù)治理，是指數(shù)據(jù)指標(biāo)口徑一致性的治理，此類數(shù)據(jù)治理主要是解決指標(biāo)口徑的一致性，解決數(shù)據(jù)“不準(zhǔn)”的問題，也由此引申出一些智能數(shù)倉、指標(biāo)元數(shù)據(jù)工具，比如美團(tuán)的起源、快手的蓋亞、阿里的dataphin等等；另一類是指廣義的數(shù)據(jù)治理，是指包括數(shù)據(jù)指標(biāo)口徑治理、數(shù)據(jù)安全治理、數(shù)據(jù)資源成本治理、數(shù)據(jù)資產(chǎn)元數(shù)據(jù)治理、數(shù)據(jù)產(chǎn)出治理等在內(nèi)的大治理，此類數(shù)據(jù)治理是需要綜合解決數(shù)據(jù)從采集加工到應(yīng)用分析再到銷毀全生命周期內(nèi)的口徑、成本、安全、合規(guī)和產(chǎn)出問題，在工具建設(shè)上，目前筆者看到的多是分散在數(shù)據(jù)安全、資產(chǎn)中心、SLA中心等不同的產(chǎn)品領(lǐng)域。

這次筆者就不賣關(guān)子了，直接拋觀點(diǎn)，筆者認(rèn)為，數(shù)據(jù)治理戰(zhàn)略層面的設(shè)計(jì)總結(jié)就兩點(diǎn)：

第一，數(shù)據(jù)治理是一個(gè)系統(tǒng)性工程。

數(shù)據(jù)治理主要面對(duì)三個(gè)問題，一是用戶心智培養(yǎng)問題，二是組織保障問題，三是系統(tǒng)提效問題，所以，單純從組織保障層面發(fā)力會(huì)面臨效率和質(zhì)量不高成本卻奇高的問題，單純從運(yùn)營(yíng)機(jī)制建設(shè)層面發(fā)力會(huì)面臨缺乏組織和工具來落地策略的問題，單純從建設(shè)工具發(fā)力會(huì)面臨缺乏組織抓手且找不到核心使用用戶，需求無法進(jìn)入正向循環(huán)的問題。以上問題一句話總結(jié)就是靠組織無法長(zhǎng)期有效，靠運(yùn)營(yíng)無法落地實(shí)施，靠工具又缺乏用戶和需求持續(xù)跟進(jìn)，因此，數(shù)據(jù)治理是一個(gè)需要組織保障、運(yùn)營(yíng)實(shí)施和工具建設(shè)三位一體跟進(jìn)的工作。

第二，數(shù)據(jù)治理又是一個(gè)抓大放小的工程。

世界本質(zhì)是一個(gè)熵增的過程，即任何事物本質(zhì)是一個(gè)自發(fā)的由有序向無序發(fā)展的過程，這個(gè)既是人性也是客觀規(guī)律，而數(shù)據(jù)治理本質(zhì)是減熵的過程，是建立秩序，因此任何的治理本身是逆人性和逆客觀規(guī)律的，需要源源不斷投入能量（資源）才能維持熵值平衡。但問題就在于，人性天然有建設(shè)性和破壞性兩面，想要秩序的存在并維持下去，本身就是需要投入非常大的建設(shè)精力和成本的，而且這個(gè)成本還不是一成不變的，它是隨著公司資產(chǎn)的累加而增加的，也是會(huì)隨著公司戰(zhàn)略、制度和文化的革新變化而變化的，因此，數(shù)據(jù)治理工程中追求完美主義是不可取的，我們要學(xué)會(huì)分類分級(jí)，學(xué)會(huì)判斷優(yōu)先級(jí)，學(xué)會(huì)抓大放小，允許有序和無序的并存。

圖1：數(shù)據(jù)治理流程保障規(guī)劃示意圖

思路：如上圖所示，數(shù)據(jù)治理流程保障規(guī)劃整體思路參考PDCA循環(huán)，即制定詳細(xì)規(guī)范方案，然后去驗(yàn)證并解決問題，接著檢查問題是否真實(shí)被根本解決，最后根據(jù)反饋再繼續(xù)爹迭代方案，進(jìn)入下一個(gè)循環(huán)。

機(jī)制：如上圖所示，數(shù)據(jù)治理流程保障規(guī)劃整體解決機(jī)制上分為三個(gè)部分，分別是事前預(yù)防，事中監(jiān)控和事后處理。第一部分的目標(biāo)是盡量將潛在問題在未爆發(fā)前就消滅掉；第二部分的目標(biāo)是盡量將問題都找出來，減少影響范圍；第三部分的目標(biāo)是對(duì)暴露出的問題進(jìn)行快速響應(yīng)和解決，并總結(jié)經(jīng)驗(yàn)。

整體流程：如上圖所示，數(shù)據(jù)治理流程保障規(guī)劃整體流程上將以解決數(shù)據(jù)質(zhì)量六性問題（唯一性、規(guī)范性、完整性、準(zhǔn)確性、及時(shí)性、安全性）為目標(biāo)，按照“規(guī)范建設(shè)-質(zhì)檢審查-發(fā)現(xiàn)問題-評(píng)估問題-解決問題-驗(yàn)收問題”的閉環(huán)流程，貫穿整個(gè)事前、事中和事后的環(huán)節(jié)。

具體實(shí)施：如上圖所示，數(shù)據(jù)治理流程保障規(guī)劃的具體實(shí)施細(xì)則上，會(huì)重點(diǎn)依托易龍的“數(shù)據(jù)治理五大項(xiàng)目模塊”，然后每個(gè)模塊都按照“規(guī)范建設(shè)-質(zhì)檢審查-發(fā)現(xiàn)問題-評(píng)估問題-解決問題-驗(yàn)收問題”的閉環(huán)流程進(jìn)行梳理和規(guī)劃。

① 發(fā)現(xiàn)問題

召回率（覆蓋率）100%

準(zhǔn)確率100%

指標(biāo)釋義：

召回率（覆蓋率）：召回率又叫覆蓋率，是指所有真實(shí)存在的問題中，系統(tǒng)或者人工檢測(cè)出的問題占比。例如一共100條數(shù)據(jù)，其中20條存在異常，系統(tǒng)報(bào)警顯示有30條存在問題，事后被驗(yàn)證30條報(bào)警中真實(shí)存在問題的有10條，則召回率（覆蓋率）=10/20*100%=50%。

準(zhǔn)確率：是指所有被系統(tǒng)或者人工檢測(cè)出的問題中，真實(shí)存在問題的占比。例如一共100條數(shù)據(jù)，其中20條存在異常，系統(tǒng)報(bào)警顯示有30條存在問題，事后被驗(yàn)證30條報(bào)警中真實(shí)存在問題的有10條，則準(zhǔn)確率=10/30*100%=33.3%。

注意： 理論上最理想的狀態(tài)就是一次監(jiān)控任務(wù)中，所有問題都被發(fā)現(xiàn)，且所有報(bào)警的數(shù)據(jù)中沒有摻雜虛報(bào)情況，也就是召回率達(dá)到100%，準(zhǔn)確率為100%。但是實(shí)際場(chǎng)景中，這樣的理想情況幾乎是不存在的！ 過度追求高召回率，監(jiān)控規(guī)則一定會(huì)設(shè)置的異常簡(jiǎn)單，那往往會(huì)有很多正常的波動(dòng)會(huì)被系統(tǒng)判定為“異常”；同理，過度追求高準(zhǔn)確率，監(jiān)控規(guī)則一定會(huì)設(shè)置的異常苛刻，那自然被報(bào)警的數(shù)據(jù)都是存在異常的，準(zhǔn)確率100%，但是這樣往往很多異常數(shù)據(jù)會(huì)被監(jiān)控系統(tǒng)給漏掉，漏報(bào)率就會(huì)異常的高！

因此，優(yōu)秀的監(jiān)控系統(tǒng)都是根據(jù)實(shí)際場(chǎng)景一直在找尋召回率和準(zhǔn)確率間的平衡點(diǎn)。

② 解決問題

響應(yīng)時(shí)長(zhǎng)：24小時(shí)內(nèi)響應(yīng)問題

定位問題：3天內(nèi)完成問題的定位

解決問題：2周內(nèi)徹底解決問題

③ 數(shù)據(jù)通道質(zhì)量

丟失率<0.1%

重復(fù)率<0.1%

延遲率<0.5%

① 唯一性

指標(biāo)、緯度、模型、庫表、數(shù)據(jù)、報(bào)表的唯一

ID唯一

名稱唯一

定義唯一

加工邏輯唯一

產(chǎn)出渠道唯一

相似的指標(biāo)、緯度、模型、庫表、報(bào)表做減法，減少冗余

② 規(guī)范性

流程規(guī)范

需求→評(píng)估→處理→測(cè)試→上線→驗(yàn)收環(huán)節(jié)嚴(yán)格執(zhí)行

數(shù)據(jù)和流程double check

測(cè)試、試驗(yàn)驗(yàn)證數(shù)據(jù)質(zhì)量和流程執(zhí)行情況

日志、庫表、模型、報(bào)表、代碼有統(tǒng)一的設(shè)計(jì)和輸出規(guī)范，信息齊全、分層合理、資源使用合理

③ 完整性

日志、庫表的元信息完善，灰度測(cè)試階段只有空值率、異常值占比、分區(qū)缺失等指標(biāo)合格后方可上線發(fā)布

如圖2和圖3所示，對(duì)于重要級(jí)別的日志、指標(biāo)、庫表數(shù)據(jù)，除了粗粒度的質(zhì)檢外，還需要每天進(jìn)行更加嚴(yán)格和科學(xué)的監(jiān)控，以提前發(fā)現(xiàn)問題并推動(dòng)解決：

圖2：數(shù)據(jù)埋點(diǎn)質(zhì)量監(jiān)控報(bào)表

圖3：數(shù)據(jù)指標(biāo)準(zhǔn)確性監(jiān)控報(bào)表

① 完整性（是否缺失或不可用）

日志

丟失率

庫表

丟失率

分區(qū)缺失

信息缺失（0、空值、NULL）

② 準(zhǔn)確性

業(yè)務(wù)側(cè)

相同指標(biāo)不同報(bào)表間建立交叉驗(yàn)證

相同報(bào)表不同指標(biāo)間建立邏輯驗(yàn)證

相同報(bào)表相同指標(biāo)建立波動(dòng)驗(yàn)證

技術(shù)側(cè)

埋點(diǎn)間的交叉驗(yàn)證

多層庫表間相同指標(biāo)交叉驗(yàn)證

明細(xì)層和統(tǒng)計(jì)層建立數(shù)據(jù)量、行數(shù)、計(jì)算結(jié)果的比對(duì)驗(yàn)證

③ 及時(shí)性

日志上報(bào)

有效上傳率

延遲率

資源使用

當(dāng)前占用占比

剩余資源占比

任務(wù)調(diào)度

完成率

失敗率

延遲率

① 監(jiān)控分級(jí)

對(duì)業(yè)務(wù)的影響度

模型、庫表、報(bào)表使用熱度

作業(yè)耗時(shí)熱度

故障分級(jí)

② 預(yù)警分級(jí)

藍(lán)色預(yù)警

黃色預(yù)警

紅色預(yù)警

③ 報(bào)警方式

電話

郵件

短信

企業(yè)微信

① 問題跟蹤處理

問題分發(fā)（按業(yè)務(wù)、主題、部門等劃分問題歸屬）

問題跟蹤

問題原因追溯

問題解決排期

問題解決反饋

② 問題驗(yàn)收

業(yè)務(wù)驗(yàn)收

監(jiān)控系統(tǒng)驗(yàn)收

③ 定責(zé)存檔

事故等級(jí)劃分

事故存檔

圖4：數(shù)據(jù)治理組織保障規(guī)劃示意圖

責(zé)任劃分：以“規(guī)范建設(shè)-質(zhì)檢審查-發(fā)現(xiàn)問題-評(píng)估問題-解決問題-驗(yàn)收問題”的閉環(huán)流程為切入點(diǎn)，將“需求規(guī)劃組、模型工程組、質(zhì)檢監(jiān)控組、審計(jì)評(píng)估組、數(shù)倉工程組、應(yīng)急響應(yīng)組”分別配屬到對(duì)應(yīng)的環(huán)節(jié)中去，以提供流程執(zhí)行的組織人力保障。

平臺(tái)支持：重點(diǎn)建設(shè)埋點(diǎn)管理平臺(tái)、元數(shù)據(jù)管理平臺(tái)、質(zhì)檢監(jiān)控平臺(tái)、工單管理平臺(tái)，為各流程環(huán)節(jié)中的組織人效提供幫助和支持。

具體實(shí)施：如上圖所示，數(shù)據(jù)應(yīng)用PM、數(shù)據(jù)平臺(tái)PM和模型工程師將對(duì)整個(gè)數(shù)據(jù)治理組織和平臺(tái)的健康高效運(yùn)轉(zhuǎn)負(fù)責(zé)，并對(duì)其向數(shù)據(jù)治理委員會(huì)匯報(bào)。

成立治理制度執(zhí)委會(huì)，負(fù)責(zé)研究和出臺(tái)相關(guān)治理制度和規(guī)范標(biāo)準(zhǔn)，目標(biāo)是促成公司內(nèi)各個(gè)業(yè)務(wù)團(tuán)隊(duì)達(dá)成共識(shí)，形成統(tǒng)一規(guī)范，避免信息孤島

成立治理產(chǎn)品執(zhí)委會(huì)，負(fù)責(zé)梳理數(shù)據(jù)各環(huán)節(jié)的需求處理流程和業(yè)務(wù)流轉(zhuǎn)流程，負(fù)責(zé)各環(huán)節(jié)的治理工具建設(shè)，形成可執(zhí)行方案，然后報(bào)制度執(zhí)委會(huì)推行

成立治理技術(shù)執(zhí)委會(huì)，負(fù)責(zé)數(shù)據(jù)各環(huán)節(jié)的技術(shù)定義、模型設(shè)計(jì)和口徑維護(hù)，對(duì)數(shù)據(jù)資產(chǎn)的落庫規(guī)范性和唯一性等負(fù)責(zé)

成立第三方治理審計(jì)監(jiān)察組，負(fù)責(zé)治理效果的評(píng)估、badcase的運(yùn)營(yíng)跟進(jìn)和事后追溯審計(jì)

成立需求規(guī)劃小組，對(duì)所有業(yè)務(wù)需求的接待和規(guī)范負(fù)責(zé)

成立模型工程小組，對(duì)接數(shù)據(jù)應(yīng)用PM，對(duì)數(shù)據(jù)從業(yè)務(wù)關(guān)聯(lián)到技術(shù)側(cè)的文檔和規(guī)范負(fù)責(zé)

成立質(zhì)檢監(jiān)控小組，對(duì)數(shù)據(jù)業(yè)務(wù)測(cè)試和技術(shù)測(cè)試的實(shí)施負(fù)責(zé)，對(duì)數(shù)據(jù)上報(bào)的質(zhì)量篩查負(fù)責(zé)，對(duì)數(shù)據(jù)質(zhì)量的監(jiān)控負(fù)責(zé)

成立審計(jì)評(píng)估小組，對(duì)上報(bào)的問題評(píng)估定級(jí)負(fù)責(zé)，對(duì)問題的合理分發(fā)和處理進(jìn)展負(fù)責(zé)

成立數(shù)倉工程小組，對(duì)數(shù)倉的規(guī)范建設(shè)負(fù)責(zé)，對(duì)問題的修復(fù)負(fù)責(zé)

成立應(yīng)急響應(yīng)小組，對(duì)緊急高優(yōu)先級(jí)的需求快速高質(zhì)量負(fù)責(zé)

數(shù)據(jù)治理項(xiàng)目規(guī)劃地圖橫向一共分為機(jī)制、流程保障、細(xì)則、責(zé)任劃分、工具平臺(tái)和各個(gè)子項(xiàng)目模塊（包括日志埋點(diǎn)模塊、通道傳輸模塊、內(nèi)容規(guī)范模塊、加工過程模塊、語義定義模塊）

數(shù)據(jù)治理項(xiàng)目機(jī)制劃分為：事前預(yù)防——事中監(jiān)控——事后處理

數(shù)據(jù)治理項(xiàng)目流程保障劃分為：規(guī)范建設(shè)→質(zhì)檢審查→發(fā)現(xiàn)問題→評(píng)估問題→解決問題→驗(yàn)收問題

圖5：數(shù)據(jù)治理項(xiàng)目規(guī)劃地圖

本期主要從數(shù)據(jù)治理的問題分析、治理目標(biāo)和治理策略進(jìn)行了闡述，下期起將重點(diǎn)介紹數(shù)據(jù)治理涉及的相關(guān)工具和平臺(tái)建設(shè)，包括資產(chǎn)治理中心、SLA治理中心、安全治理中心和指標(biāo)治理中心等，歡迎關(guān)注~