很可惜 T 。T 您現(xiàn)在還不是作者身份,不能自主發(fā)稿哦~
如有投稿需求,請把文章發(fā)送到郵箱tougao@appcpx.com,一經(jīng)錄用會有專人和您聯(lián)系
咨詢?nèi)绾纬蔀榇河鹱髡哒埪?lián)系:鳥哥筆記小羽毛(ngbjxym)
大家好,我是大家的怪力少女——趙壯實。
經(jīng)過了近2個多月的學(xué)習(xí),我們終于來到最后一篇:數(shù)據(jù)治理。
數(shù)據(jù)治理是一個大話題,在數(shù)據(jù)界會是一個越來越?的話題。不信,請看百度指數(shù)。
我對比了近一年來,全國全端關(guān)于「數(shù)據(jù)治理」和「數(shù)據(jù)分析」兩個關(guān)鍵詞的搜索情況,我們可以明顯發(fā)現(xiàn),在數(shù)據(jù)分析如此「家?;沟慕裉欤瑪?shù)據(jù)治理也在慢慢出圈了。
壯實預(yù)測,未來市場上將會有一大波圍繞數(shù)據(jù)治理的RD、PM、OP的崗位供給數(shù)據(jù)人才。(有點dy張詩童的味道了。。)
為什么這么說呢。這個很好理解,在早期互聯(lián)網(wǎng)迅猛發(fā)展之時,大家一股腦兒地注重速度,注重數(shù)據(jù)分析;但是當(dāng)大家發(fā)展地差不多的時候,就會比誰的數(shù)據(jù)更安全,誰更效率。
好嘞,話不多說,我們來談?wù)劷裉斓淖h題——數(shù)據(jù)治理。
如果你感興趣的話,沒準(zhǔn)能作為一個新的職業(yè)方向。
數(shù)據(jù)治理定義:
Data governance is a data management concept concerning the capability that enables an organization to ensure that high data quality exists throughout the complete lifecycle of the data, and data controls are implemented that support business objectives. The key focus areas of data governance include availability, usability, consistency, data integrity and data security and includes establishing processes to ensure effective data management throughout the enterprise such as accountability for the adverse effects of poor data quality and ensuring that the data which an enterprise has can be used by the entire organization. —— 維基百科
數(shù)據(jù)治理是對數(shù)據(jù)資產(chǎn)管理行使權(quán)力和控制的活動集合?!?國際數(shù)據(jù)管理協(xié)會(DAMA)
從上面的定義,我們可以得到兩個比較關(guān)鍵的信息:
數(shù)據(jù)治理服務(wù)于組織。
數(shù)據(jù)治理表現(xiàn)為管控數(shù)據(jù)生命周期中的數(shù)據(jù)高質(zhì)量,包括:數(shù)據(jù)可獲得、數(shù)據(jù)可使用、數(shù)據(jù)一致性、數(shù)據(jù)安全。
好的,說完定義,我們來看看現(xiàn)實:
從上圖可以看到,數(shù)據(jù)治理可以包括產(chǎn)品、技術(shù)側(cè)的治理,也可以包括數(shù)據(jù)安全。
從壯實的角度來說,數(shù)據(jù)治理是一個很大的詞語,簡單來說,可以理解為:一切為提高生命周期內(nèi),數(shù)據(jù)質(zhì)量的解決方案。(準(zhǔn)度、精度、量度)
目前,無論是在數(shù)據(jù)產(chǎn)品側(cè)還是在數(shù)據(jù)技術(shù)側(cè)都是探索階段,就產(chǎn)品來說,如圖所示,產(chǎn)品側(cè)比較常見是以下三種:
1.元數(shù)據(jù)管理:比如管理了多少數(shù)據(jù)資產(chǎn)(任務(wù)、維度、指標(biāo)、報表),什么來源、什么主題、來自于什么數(shù)據(jù)源,流向了什么數(shù)據(jù)應(yīng)用。
2.數(shù)據(jù)資產(chǎn)管理:有價值的元數(shù)據(jù)可以變?yōu)橘Y產(chǎn)(熱度),數(shù)據(jù)資產(chǎn)用什么方式對上層應(yīng)用提供服務(wù),這些對外服務(wù)是如何管控的,誰使用了數(shù)據(jù),用了多少數(shù)據(jù),是否應(yīng)該用圖形化的方式進(jìn)行統(tǒng)計和展現(xiàn)。
3.數(shù)據(jù)資產(chǎn)治理:
無價值數(shù)據(jù)展示。這時候就要盤一盤,發(fā)現(xiàn)了多少條問題數(shù)據(jù),處理了多少條問題數(shù)據(jù),是否應(yīng)該有一個不斷更新的統(tǒng)計數(shù)字來表示。
治理工具。如使用什么樣子的工具有助于發(fā)現(xiàn)問題、解決問題 。
治理排名工具。如數(shù)據(jù)質(zhì)量問題逐月減少的趨勢,是否應(yīng)該用趨勢圖展現(xiàn)出來。數(shù)據(jù)質(zhì)量問題根據(jù)部門、系統(tǒng)的排名,是否應(yīng)該加在數(shù)據(jù)質(zhì)量報告中,提供給決策層,幫助客戶進(jìn)行績效考核。
總之,壯實認(rèn)為,不要為了治理而治理。我們做數(shù)據(jù)治理工作,一定要從需求&痛點開始,就想辦法讓用戶直觀地看到成果,體驗收益。(注意是“體驗收益”,不是“感知收益”。)
為什么商業(yè)需要數(shù)據(jù)?是用數(shù)據(jù)評估任何動作的效果。所以,指標(biāo)的源頭實際是業(yè)務(wù)同學(xué)定義的。但是背后有決定指標(biāo)定義的商分同學(xué)、產(chǎn)生數(shù)據(jù)的研發(fā)同學(xué)、服務(wù)任何使用數(shù)據(jù)的數(shù)據(jù)產(chǎn)品同學(xué)。
所以,數(shù)據(jù)準(zhǔn)不準(zhǔn)?數(shù)據(jù)誰來用?誰是數(shù)據(jù)的最終受益人——業(yè)務(wù)同學(xué)。
兩點結(jié)論:
業(yè)務(wù)同學(xué)學(xué)會數(shù)據(jù)分析,將會大大提高企業(yè)效率。
指標(biāo)/維度的定義,需要從業(yè)務(wù)同學(xué)中來,再到業(yè)務(wù)同學(xué)中去。
脫離指標(biāo)維度說數(shù)據(jù)技術(shù)的人,在一定程度上是耍流氓。。。。壯實,今天想談一談,業(yè)務(wù)中如何對齊指標(biāo)維度。業(yè)務(wù)對齊指標(biāo)維度,在數(shù)據(jù)角度可以從底層和應(yīng)用層有不同的解法,應(yīng)用層偏重于指標(biāo)/維度如何梳理/打通/維護(hù);底層偏重于從分層建模的角度解決。
下面的圖,就是阿里老大哥,根據(jù)三種表+業(yè)務(wù)指標(biāo)劃分,提供的一種指標(biāo)定義和生產(chǎn)的方案。
這個還是行業(yè)老大哥阿里的一個圖:
這里要理解1對概念。
原子指標(biāo):基于某一業(yè)務(wù)事件行為下的度量,是業(yè)務(wù)定義中不可再拆分的指標(biāo),具有明確業(yè)務(wù)含義的名詞,如支付金額
派生指標(biāo):一個原子指標(biāo)+若干修飾詞+時間周期。如最近1天海外買家支付金額。阿里還把派生指標(biāo)分為三類,但是去別的公司,可能不這么定義。。。
事務(wù)型指標(biāo):是指對業(yè)務(wù)活動進(jìn)行衡量的指標(biāo)。如新發(fā)商品數(shù),重發(fā)商品數(shù)。
存量型指標(biāo):是指對實體對象(商品,會員等)某些狀態(tài)的統(tǒng)計。例如商品總數(shù),注冊會員總數(shù)
復(fù)合型指標(biāo):是在事務(wù)型指標(biāo)和存量型指標(biāo)基礎(chǔ)上復(fù)合而成。如UV-下單買家轉(zhuǎn)換率。
關(guān)于表可以回去翻一下壯實的第一篇和第二篇文章哦~
以下是阿里老大哥的數(shù)據(jù)層次圖:
因為這里是研發(fā)的重點,壯實簡要說模型設(shè)計原則和流程兩點:
分層模型設(shè)計原則
1. 高內(nèi)聚和低耦合,業(yè)務(wù)相近或相關(guān),粒度相同的數(shù)據(jù)設(shè)計為一個邏輯或者無力模型。將高概率同時訪問的數(shù)據(jù)放在一起。
2. 核心模型與擴(kuò)展模型分離,核心模型包含常用核心業(yè)務(wù)的字段,擴(kuò)展模型包括一些特定的或者少量使用的應(yīng)用字段。
3. 公共處理邏輯下沉及單一,越是公共數(shù)據(jù)越要在數(shù)據(jù)底層封裝,避免暴露其處理邏輯,公共邏輯不要多出存在。
4. 成本和性能平衡,適當(dāng)?shù)臄?shù)據(jù)冗余,但不能多。
5. 命名清晰,可理解。
實施工作流
1.充分的業(yè)務(wù)調(diào)研和需求分析
2.進(jìn)行數(shù)據(jù)總體架構(gòu)設(shè)計,根據(jù)主題域?qū)?shù)據(jù)進(jìn)行劃分,按照維度建模理論,抽象出業(yè)務(wù)過程和維度
3.抽象整理出相關(guān)指標(biāo)體系
4.使用相關(guān)工具或按照相關(guān)規(guī)范完成指標(biāo)規(guī)范定義和模型設(shè)計
5.代碼開發(fā)和運維
好了,今天的數(shù)據(jù)治理就到這里了,因為數(shù)據(jù)治理是解決實際問題,市面上的解決方案比較少見,同學(xué)們感興趣,可以多多探索~
但是,解決從底層到業(yè)務(wù)同學(xué)的數(shù)據(jù)指標(biāo)對齊問題,是一個長長久久、長治久安的問題,也是數(shù)據(jù)治理的一個很重點的問題。
如果你對數(shù)據(jù)治理感興趣,可以進(jìn)行深入的學(xué)習(xí),抓住這次治理的風(fēng)口哦~
-End-
本文為作者獨立觀點,不代表鳥哥筆記立場,未經(jīng)允許不得轉(zhuǎn)載。
《鳥哥筆記版權(quán)及免責(zé)申明》 如對文章、圖片、字體等版權(quán)有疑問,請點擊 反饋舉報
我們致力于提供一個高質(zhì)量內(nèi)容的交流平臺。為落實國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求,為完善跟帖評論自律管理,為了保護(hù)用戶創(chuàng)造的內(nèi)容、維護(hù)開放、真實、專業(yè)的平臺氛圍,我們團(tuán)隊將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進(jìn)行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容,同時也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。
一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護(hù)法》等法律法規(guī),對以下違法、不良信息或存在危害的行為進(jìn)行處理。
1. 違反法律法規(guī)的信息,主要表現(xiàn)為:
1)反對憲法所確定的基本原則;
2)危害國家安全,泄露國家秘密,顛覆國家政權(quán),破壞國家統(tǒng)一,損害國家榮譽和利益;
3)侮辱、濫用英烈形象,歪曲、丑化、褻瀆、否定英雄烈士事跡和精神,以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽、榮譽;
4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動;
5)煽動民族仇恨、民族歧視,破壞民族團(tuán)結(jié);
6)破壞國家宗教政策,宣揚邪教和封建迷信;
7)散布謠言,擾亂社會秩序,破壞社會穩(wěn)定;
8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪;
9)煽動非法集會、結(jié)社、游行、示威、聚眾擾亂社會秩序;
10)侮辱或者誹謗他人,侵害他人名譽、隱私和其他合法權(quán)益;
11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式,對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進(jìn)行網(wǎng)絡(luò)欺凌的;
12)危害未成年人身心健康的;
13)含有法律、行政法規(guī)禁止的其他內(nèi)容;
2. 不友善:不尊重用戶及其所貢獻(xiàn)內(nèi)容的信息或行為。主要表現(xiàn)為:
1)輕蔑:貶低、輕視他人及其勞動成果;
2)誹謗:捏造、散布虛假事實,損害他人名譽;
3)嘲諷:以比喻、夸張、侮辱性的手法對他人或其行為進(jìn)行揭露或描述,以此來激怒他人;
4)挑釁:以不友好的方式激怒他人,意圖使對方對自己的言論作出回應(yīng),蓄意制造事端;
5)羞辱:貶低他人的能力、行為、生理或身份特征,讓對方難堪;
6)謾罵:以不文明的語言對他人進(jìn)行負(fù)面評價;
7)歧視:煽動人群歧視、地域歧視等,針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊;
8)威脅:許諾以不良的后果來迫使他人服從自己的意志;
3. 發(fā)布垃圾廣告信息:以推廣曝光為目的,發(fā)布影響用戶體驗、擾亂本網(wǎng)站秩序的內(nèi)容,或進(jìn)行相關(guān)行為。主要表現(xiàn)為:
1)多次發(fā)布包含售賣產(chǎn)品、提供服務(wù)、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式:
2)單個帳號多次發(fā)布包含垃圾廣告的內(nèi)容;
3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容;
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容,如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等,誘騙用戶點擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當(dāng)曝光;
6)購買或出售帳號之間虛假地互動,發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
7)發(fā)布包含欺騙性的惡意營銷內(nèi)容,如通過偽造經(jīng)歷、冒充他人等方式進(jìn)行惡意營銷;
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息,主要表現(xiàn)為:
1)包含自己或他人性經(jīng)驗的細(xì)節(jié)描述或露骨的感受描述;
2)涉及色情段子、兩性笑話的低俗內(nèi)容;
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容;
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想;
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適;
6)炒作緋聞、丑聞、劣跡等;
7)宣揚低俗、庸俗、媚俗內(nèi)容。
5. 不實信息,主要表現(xiàn)為:
1)可能存在事實性錯誤或者造謠等內(nèi)容;
2)存在事實夸大、偽造虛假經(jīng)歷等誤導(dǎo)他人的內(nèi)容;
3)偽造身份、冒充他人,通過頭像、用戶名等個人信息暗示自己具有特定身份,或與特定機構(gòu)或個人存在關(guān)聯(lián)。
6. 傳播封建迷信,主要表現(xiàn)為:
1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治??;
2)求推薦算命看相大師;
3)針對具體風(fēng)水等問題進(jìn)行求助或咨詢;
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失,包括通過占卜方法問婚姻、前程、運勢,東西寵物丟了能不能找回、取名改名等;
7. 文章標(biāo)題黨,主要表現(xiàn)為:
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導(dǎo)用戶;
2)內(nèi)容與標(biāo)題之間存在嚴(yán)重不實或者原意扭曲;
3)使用夸張標(biāo)題,內(nèi)容與標(biāo)題嚴(yán)重不符的。
8.「飯圈」亂象行為,主要表現(xiàn)為:
1)誘導(dǎo)未成年人應(yīng)援集資、高額消費、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點」、制造話題等形式干擾輿論,影響傳播秩序
9. 其他危害行為或內(nèi)容,主要表現(xiàn)為:
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導(dǎo)未成年人不良嗜好影響未成年人身心健康的;
2)不當(dāng)評述自然災(zāi)害、重大事故等災(zāi)難的;
3)美化、粉飾侵略戰(zhàn)爭行為的;
4)法律、行政法規(guī)禁止,或可能對網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動發(fā)現(xiàn)和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當(dāng)一個用戶發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴(yán)重程度,對帳號進(jìn)行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當(dāng)涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號,或者濫用多個帳號發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將加重處罰。
三、申訴
隨著平臺管理經(jīng)驗的不斷豐富,本網(wǎng)站出于維護(hù)本網(wǎng)站氛圍和秩序的目的,將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議,可以通過「建議反饋」功能向本網(wǎng)站進(jìn)行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)