前言


絕大多數(shù)互聯(lián)網(wǎng)公司沒時間建模、治理,直接拖寬表。業(yè)務(wù)變更頻繁、建模缺位、指標(biāo)爆炸,是導(dǎo)致互聯(lián)網(wǎng)大數(shù)據(jù)環(huán)境中數(shù)據(jù)質(zhì)量的低下的根本原因。
而在部委、集團中,時間相對充裕一些,標(biāo)準(zhǔn)更規(guī)范一些,但是同樣面臨部委和省級之間、各系統(tǒng)之間數(shù)據(jù)交換、對齊的問題。
因此,在不同的環(huán)境中,數(shù)據(jù)治理的重點和偏向都是完全不一樣的。

今天分享的內(nèi)容從實戰(zhàn)出發(fā),到落地結(jié)束。數(shù)據(jù)治理最難的不是系統(tǒng)建設(shè),而是落地困難。所以今天先跟大家分享一下部委、集團類數(shù)據(jù)治理遇到的困境,以及各種問題的具體解決方案,還有如何進行經(jīng)驗復(fù)制。
你以為的數(shù)據(jù)治理

提到數(shù)據(jù)治理,第一反應(yīng)就是數(shù)據(jù)部門一定要定標(biāo)準(zhǔn)、做執(zhí)行、強監(jiān)督啊,搞一個PDCA戴明環(huán),一點一點慢慢的做起來。
然后呢?給下屬單位、子公司和其他部門下文件、搞培訓(xùn),做排名,轟轟烈烈做起來,各種辦法都得上啊。
這樣行么?這樣有效果。但是肯定會非常非常的困難。因為很多事情跟你想象的不一樣。

比如,你以為在部委、集團里辦事是不是開個會,發(fā)個文件就好了?嘿嘿,那你簡直太天真了。

實際上,各部委、集團的甲方,在執(zhí)行項目的時候,電話根本放不下來,下面的各個廳局級的瘋狂打電話過來各種確認(rèn)問題。
乙方呢?那就更慘了!即便是做了萬全之策,也會有無數(shù)的未知問題等著你。所以乙方基本都是處于瘋狂加班的狀態(tài)。

你以為部委、集團就是發(fā)發(fā)標(biāo)準(zhǔn),數(shù)據(jù)質(zhì)量自然就提高了?是,數(shù)據(jù)質(zhì)量的確要制定好標(biāo)準(zhǔn),但是你聽說過“形同虛設(shè)”嗎?

即便是通過行政命令強壓下去,但是各地的基礎(chǔ)條件不一,人員素質(zhì)不一,經(jīng)濟實力不一,系統(tǒng)建設(shè)的好壞也就不一樣。
還有,中文語義非常廣,不同語境理解不一樣,非常容易產(chǎn)生很多歧義。所以很多時候公務(wù)員真的都是在摳字眼,因為要力求精準(zhǔn)。
經(jīng)常是你想要他們填A(yù),結(jié)果有很多人填A(yù)'、B、C。

你是不是以為在部委、集團里做事情,都是一聲令下,然后就有山呼海嘯,應(yīng)者無數(shù),事情推進的非常順利?

實際上,基層工作人員手上的事情都非常非常的多,根本沒辦法及時響應(yīng),通常都是拖到最后一刻才交作業(yè),晚交也是非常正常的事情。
如果你抱著以上的認(rèn)知去做項目,拿著部委、集團的命令當(dāng)尚方寶劍的話,我不敢確定你是否能成功,但是你肯定會吃盡苦頭,撞一頭的包。
核心原因

我們回到最開始的策略,先定標(biāo)準(zhǔn)、做執(zhí)行、強監(jiān)督,向下則是下文件、搞培訓(xùn)、做排名。這是典型的領(lǐng)導(dǎo)視角,是帶著一些強權(quán)的意思在下達任務(wù)。大家都是打工人,何必為難打工人?再說了,打工人手上的活也很多啊,誰愿意多一點活?領(lǐng)導(dǎo)視角推動事情,最喜歡用的就是強權(quán),但是最壞事的也是強權(quán),很容易引起反感,沒人聽你的。
他們沒有任何動力去做這種事情??!這就像小時候的我,總是被爸爸媽媽逼著學(xué)習(xí)。晚上回家還站在我后面看著我寫作業(yè),誰心里舒服???上面說到的“不想治、不會治、沒啥用”只是三個典型而已,信不信給你找出100個理由?你想想小時候為了逃避寫作業(yè),你編過多少理由?所以我們需要轉(zhuǎn)換一個視角去辦事,強權(quán)是靠不住的。根據(jù)我的經(jīng)驗,轉(zhuǎn)換成兄弟視角是最合適的。峰會內(nèi)容

對付不想治,簡單!病根找到了,那就讓他自己想治就好了。
態(tài)度一定要明確:兄弟不是給你派活的!兄弟是給你助攻的!掛欲望的時候,一定要注意,這個欲望不是人性陰暗面的欲望,而是激發(fā)他的正能量。所以獎勵錢是不好的,因為你在誘惑他。而是從他的工作入手,告訴他能實現(xiàn)價值,比如節(jié)省時間。我們最終的目標(biāo)是轉(zhuǎn)變他們的觀念,將“要我治”變成“我要治”?;麄兊谋粍映蔀橹鲃?。
對于數(shù)據(jù)治理太難的問題,我們必須幫助他們。因為很可能他們根本沒有那個能力去做這些事情。
更何況,你要是放開讓他們自己干,一人一個理解,全亂套了,最后沒辦法收場了。所以我們得根據(jù)各種實際問題,幫助兄弟提供針對性的解決方案,最重要的是降低執(zhí)行的難度,最好一鍵搞定。怎么落?一定要設(shè)計好動力系統(tǒng),讓大家看到實實在在的好處,才能有動力一起推動這件事情。該給的榮譽要給到位,標(biāo)桿樹起來,比學(xué)趕幫超,帶動一大批。雖然是數(shù)據(jù)治理,但是應(yīng)用也得規(guī)劃到位,否則業(yè)務(wù)部門無感,數(shù)據(jù)部門也覺得沒啥用。
還得給下面干活的同學(xué)提供相應(yīng)的工作管理和向上匯報的素材,好歹也能發(fā)一個內(nèi)部的小通知不是么?
方法論復(fù)用

我這個方法論可不僅僅是在部委能用,在集團、普通公司都能用的。比如,在微信群里,就有想推動數(shù)據(jù)治理的朋友提一個問題:怎么反駁IT同時不恰當(dāng)?shù)难赞o呢?
群里也有人給了非常專業(yè)的回答,這么說肯定是有理有據(jù)的。不過在這里,也可以用我之前的那個套路套一下,也挺管用的。比如,原來是要反駁,這明顯是對立視角啊,想找他的問題很簡單,隨便能找一堆啊。但是對立就意味著失去了一個朋友。數(shù)據(jù)治理這么難,我們應(yīng)該盡可能的團結(jié)一切可以團結(jié)的力量。他說錯了就讓他錯唄。我們只要他合作就行了。所以,轉(zhuǎn)變一下視角,從對立變成合作。一樣,把“要我做”變成“我要做”:舉例子、掛欲望、給希望。誰家的數(shù)據(jù)治理做的好,他們的IT部門都不用操心數(shù)據(jù)部門的事。SAP屬于業(yè)務(wù)系統(tǒng),數(shù)據(jù)分析數(shù)據(jù)分析系統(tǒng),我們以前有問題都找你人工解決,以后我們自己解決。
提供全套解決方案,降低執(zhí)行難度。數(shù)據(jù)治理很專業(yè),有專門的系統(tǒng),也有方法,我這里還有高手,不會給你添麻煩。
規(guī)劃先行,設(shè)計動力系統(tǒng)。做好了,你也省心啊。每次有進展的時候,向領(lǐng)導(dǎo)匯報,都感謝一下他。你看,這樣做,阻力變成助力,推進起來是不是就容易多了?數(shù)據(jù)治理目標(biāo)

接下來,給大家分享一下比較枯燥的數(shù)據(jù)治理建設(shè)方法論。
不同場景、不同項目對數(shù)據(jù)治理的需求是不一樣的。個人認(rèn)為核心的就這幾個:
理論指導(dǎo)采用DAMA,這是DAMA的車輪圖,我們在具體落地的時候,一般都會從中進行裁剪,選擇合適的內(nèi)容進一步搞建設(shè)。
我們需要進行常規(guī)的現(xiàn)狀問題分析,找到問題背后的根本原因,然后再制定相應(yīng)的策略,從根上解決。
比如每個人都能定義指標(biāo),數(shù)據(jù)部門淪為提數(shù)工具。這個現(xiàn)象的根本原因是缺乏歸口管理,也就是數(shù)據(jù)部門沒啥權(quán)利。這是組織問題,需要從組織層面解決,制定指標(biāo)定義流程,確定數(shù)據(jù)權(quán)威。部委、集團層遇到的問題就更多了。信息化做的早,不一定是好事。
一般來說,裁剪完之后,就會剩下幾個重點要做的事情。
峰會內(nèi)容


組織一定要先行!數(shù)據(jù)治理猶如河道清理,不僅僅是清理工的工作。上游、河道兩旁的垃圾、廢水排放不制止,把河道清理工累死也無用。
所以數(shù)據(jù)治理應(yīng)該向政府治理城市河道學(xué)習(xí),要聯(lián)合各個部門,做宣講,改變大家隨意排放的觀點。做污水管道,引導(dǎo)河道兩邊的社區(qū)、企業(yè)合理排放。最后加上一些河道清理,這樣大家一起努力才能有效。
組織先行的第一步是設(shè)立數(shù)據(jù)治理委員會,主要目的是把老板拉進來,把業(yè)務(wù)部門負責(zé)人拉進來,一起進行治理。這一步時間最小,但是重要性最強。
其次是制定各種管理規(guī)范,讓大家有法可依。然后才是建立數(shù)據(jù)治理團隊,不僅僅是數(shù)據(jù)團隊要加入,其他團隊也要加入。
這是各種政策的簡單示意。包括數(shù)據(jù)安全、質(zhì)量管理、各種校驗方案、管理辦法等。這是各種計劃示意,具體的工作肯定不止這么少。但是邏輯是一樣的。管理方案


數(shù)據(jù)治理應(yīng)該覆蓋所有環(huán)節(jié)。但是項目建設(shè)范圍有限,不建議超出項目建設(shè)范圍。
一般主要有三個環(huán)節(jié):生產(chǎn)、傳輸、加工。再往后是使用環(huán)節(jié),那邊主要是發(fā)現(xiàn)問題的地方,而且往往在系統(tǒng)之外,所以不太好管理。
這三個環(huán)節(jié)管好基本就差不多了。在生產(chǎn)環(huán)節(jié),我們需要跟業(yè)務(wù)部門多多溝通,有些時候需要看看數(shù)據(jù),反應(yīng)的都是那些環(huán)節(jié)出問題了。也許是人的問題,也許是培訓(xùn)不到位,也許是系統(tǒng)不友好。我們根據(jù)實際情況進行調(diào)整,不斷優(yōu)化即可。
在數(shù)據(jù)清洗的過程中,重要是成本和質(zhì)量之間的平衡。這時候我們應(yīng)該讓業(yè)務(wù)參與進來,盡量做到用最小的成本覆蓋最多的數(shù)據(jù)質(zhì)量監(jiān)控。對于已知的異常數(shù)據(jù),我們可以根據(jù)數(shù)據(jù)的重要性和其他特征,做相應(yīng)的處理,能填補的就填補,不能填補的就原路返回,改好了再重新發(fā)過來。在數(shù)據(jù)治理的環(huán)節(jié),一般要分成存量和增量場景。存量場景基本上一次性操作,人工突擊搞一下就行了。增量場景則需要進行全面監(jiān)控,而且還要持續(xù)治理,人工處理效率太低,成本較高,建議用系統(tǒng)承擔(dān)。特殊情況再由人工介入。數(shù)據(jù)治理是一個綜合、復(fù)雜、困難的工作,需要多方協(xié)調(diào)。建議由信息中心、IT部門牽頭,定標(biāo)準(zhǔn)、做規(guī)范,拉上業(yè)務(wù)部門和廠商一起進行。期間一定要做好宣貫、協(xié)調(diào)工作。招術(shù)盡出,最后還是要加一根大棒。因為沒有考核就沒有結(jié)果。我遇到過什么事情都做了,但是結(jié)果就是不好的情況。
你想想身邊是不是有這種“天天加班,但就是干不好活”的人?治理平臺建設(shè)








在不同的階段,數(shù)據(jù)一致性校驗的內(nèi)容是不一樣的。以部委為例,先要從省級平臺同步數(shù)據(jù)到國家同步庫,然后再入到基礎(chǔ)庫,最后到應(yīng)用系統(tǒng)。期間會經(jīng)過同步、清洗、處理三個階段。
同步的時候,校驗的目標(biāo)是數(shù)據(jù)源和接收結(jié)果是否一致;清洗的時候,校驗的目標(biāo)是數(shù)據(jù)是否干凈;
處理的時候,校驗的目標(biāo)是數(shù)據(jù)是否準(zhǔn)確。


系統(tǒng)截圖:略
組織建設(shè)


在數(shù)據(jù)治理環(huán)節(jié)上,要做到閉環(huán)。在組織建設(shè)流程上,也要形成閉環(huán),這樣才能把每一件事情做到位,每一條數(shù)據(jù)治理干凈。



最后幫DAMA做一個廣告:我是DAMA中國會員,DMBOK是國際數(shù)據(jù)管理的標(biāo)準(zhǔn)知識體系。
現(xiàn)在DAMA2.0已經(jīng)發(fā)布,感興趣可以直接點擊鏈接購買。
結(jié)語
完整版PPT下載:公眾號“大數(shù)據(jù)架構(gòu)師”后臺回復(fù)“0415”即可下載。
感謝閱讀,本次分享的內(nèi)容就結(jié)束了。
歡迎大家加我微信好友,盡個點贊之交,一起進化吧!

推薦閱讀:
更多精彩:
我們致力于提供一個高質(zhì)量內(nèi)容的交流平臺。為落實國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求,為完善跟帖評論自律管理,為了保護用戶創(chuàng)造的內(nèi)容、維護開放、真實、專業(yè)的平臺氛圍,我們團隊將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容,同時也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。
一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護法》等法律法規(guī),對以下違法、不良信息或存在危害的行為進行處理。
1. 違反法律法規(guī)的信息,主要表現(xiàn)為:
1)反對憲法所確定的基本原則;
2)危害國家安全,泄露國家秘密,顛覆國家政權(quán),破壞國家統(tǒng)一,損害國家榮譽和利益;
3)侮辱、濫用英烈形象,歪曲、丑化、褻瀆、否定英雄烈士事跡和精神,以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽、榮譽;
4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動;
5)煽動民族仇恨、民族歧視,破壞民族團結(jié);
6)破壞國家宗教政策,宣揚邪教和封建迷信;
7)散布謠言,擾亂社會秩序,破壞社會穩(wěn)定;
8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪;
9)煽動非法集會、結(jié)社、游行、示威、聚眾擾亂社會秩序;
10)侮辱或者誹謗他人,侵害他人名譽、隱私和其他合法權(quán)益;
11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式,對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進行網(wǎng)絡(luò)欺凌的;
12)危害未成年人身心健康的;
13)含有法律、行政法規(guī)禁止的其他內(nèi)容;
2. 不友善:不尊重用戶及其所貢獻內(nèi)容的信息或行為。主要表現(xiàn)為:
1)輕蔑:貶低、輕視他人及其勞動成果;
2)誹謗:捏造、散布虛假事實,損害他人名譽;
3)嘲諷:以比喻、夸張、侮辱性的手法對他人或其行為進行揭露或描述,以此來激怒他人;
4)挑釁:以不友好的方式激怒他人,意圖使對方對自己的言論作出回應(yīng),蓄意制造事端;
5)羞辱:貶低他人的能力、行為、生理或身份特征,讓對方難堪;
6)謾罵:以不文明的語言對他人進行負面評價;
7)歧視:煽動人群歧視、地域歧視等,針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊;
8)威脅:許諾以不良的后果來迫使他人服從自己的意志;
3. 發(fā)布垃圾廣告信息:以推廣曝光為目的,發(fā)布影響用戶體驗、擾亂本網(wǎng)站秩序的內(nèi)容,或進行相關(guān)行為。主要表現(xiàn)為:
1)多次發(fā)布包含售賣產(chǎn)品、提供服務(wù)、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式:
2)單個帳號多次發(fā)布包含垃圾廣告的內(nèi)容;
3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容;
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容,如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等,誘騙用戶點擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當(dāng)曝光;
6)購買或出售帳號之間虛假地互動,發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
7)發(fā)布包含欺騙性的惡意營銷內(nèi)容,如通過偽造經(jīng)歷、冒充他人等方式進行惡意營銷;
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息,主要表現(xiàn)為:
1)包含自己或他人性經(jīng)驗的細節(jié)描述或露骨的感受描述;
2)涉及色情段子、兩性笑話的低俗內(nèi)容;
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容;
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想;
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適;
6)炒作緋聞、丑聞、劣跡等;
7)宣揚低俗、庸俗、媚俗內(nèi)容。
5. 不實信息,主要表現(xiàn)為:
1)可能存在事實性錯誤或者造謠等內(nèi)容;
2)存在事實夸大、偽造虛假經(jīng)歷等誤導(dǎo)他人的內(nèi)容;
3)偽造身份、冒充他人,通過頭像、用戶名等個人信息暗示自己具有特定身份,或與特定機構(gòu)或個人存在關(guān)聯(lián)。
6. 傳播封建迷信,主要表現(xiàn)為:
1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治病;
2)求推薦算命看相大師;
3)針對具體風(fēng)水等問題進行求助或咨詢;
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失,包括通過占卜方法問婚姻、前程、運勢,東西寵物丟了能不能找回、取名改名等;
7. 文章標(biāo)題黨,主要表現(xiàn)為:
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導(dǎo)用戶;
2)內(nèi)容與標(biāo)題之間存在嚴(yán)重不實或者原意扭曲;
3)使用夸張標(biāo)題,內(nèi)容與標(biāo)題嚴(yán)重不符的。
8.「飯圈」亂象行為,主要表現(xiàn)為:
1)誘導(dǎo)未成年人應(yīng)援集資、高額消費、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點」、制造話題等形式干擾輿論,影響傳播秩序
9. 其他危害行為或內(nèi)容,主要表現(xiàn)為:
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導(dǎo)未成年人不良嗜好影響未成年人身心健康的;
2)不當(dāng)評述自然災(zāi)害、重大事故等災(zāi)難的;
3)美化、粉飾侵略戰(zhàn)爭行為的;
4)法律、行政法規(guī)禁止,或可能對網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動發(fā)現(xiàn)和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當(dāng)一個用戶發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴(yán)重程度,對帳號進行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當(dāng)涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號,或者濫用多個帳號發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將加重處罰。
三、申訴
隨著平臺管理經(jīng)驗的不斷豐富,本網(wǎng)站出于維護本網(wǎng)站氛圍和秩序的目的,將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議,可以通過「建議反饋」功能向本網(wǎng)站進行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)