很可惜 T 。T 您現(xiàn)在還不是作者身份，不能自主發(fā)稿哦～
如有投稿需求，請把文章發(fā)送到郵箱tougao@appcpx.com，一經(jīng)錄用會有專人和您聯(lián)系
咨詢?nèi)绾纬蔀榇河鹱髡哒埪?lián)系：鳥哥筆記小羽毛（ngbjxym）
我一直有一個觀點：“數(shù)據(jù)模型設(shè)計的是商業(yè)模式，是產(chǎn)品邏輯；數(shù)據(jù)結(jié)果反映的是業(yè)務(wù)實操，是實際現(xiàn)狀?！?/p>
數(shù)據(jù)開發(fā)的效率，是如何盡快的將產(chǎn)品設(shè)計、業(yè)務(wù)過程，轉(zhuǎn)換為數(shù)據(jù)模型；數(shù)據(jù)開發(fā)的質(zhì)量，則是如何盡快的將數(shù)據(jù)加工過程中的問題，識別出來。向業(yè)務(wù)交付的內(nèi)容，是開發(fā)的內(nèi)容；而如果開發(fā)的時候，忽略質(zhì)量的問題，雖然交付的時候不會有感知，但往往會在排查問題階段，把這些時間加倍的補(bǔ)償回來。
很多時候，開發(fā)同學(xué)會覺得，做這么多質(zhì)量工作是“無效”的，因為很多問題，并不需要數(shù)據(jù)同學(xué)對業(yè)務(wù)有太深入的了解，如果發(fā)現(xiàn)了，會覺得業(yè)務(wù)就這么設(shè)置的，跟我有啥關(guān)系；如果沒發(fā)現(xiàn)，那就是開發(fā)工期太緊張了，我做不過來。
比如，按照規(guī)定，我們要向1萬用戶發(fā)放優(yōu)惠券，但因為人群選擇錯了，導(dǎo)致發(fā)出去了10萬張優(yōu)惠券；再比如，商品綁定錯了貨品，或者是發(fā)貨發(fā)錯了，但大家的第一想法是數(shù)據(jù)算錯了。這些情況的出現(xiàn)，導(dǎo)致數(shù)據(jù)和業(yè)務(wù)出現(xiàn)一些對立的情緒。
但幸運的是，數(shù)據(jù)質(zhì)量問題的排查，要遠(yuǎn)比業(yè)務(wù)系統(tǒng)問題的排查，容易不少，因為我們有章可循。
所以，如何在保證開發(fā)速度的情況下，做好質(zhì)量保障，是一個很重要的問題。效率和質(zhì)量，哪個都不能放棄，是數(shù)據(jù)開發(fā)的兩條生命線。
本文我們分開講講，質(zhì)量體系的事情，效率體系的事情，以及兩者如何兼顧平衡。
數(shù)據(jù)的作用可以從三個比較宏觀的維度來描述，一個是豐富、一個是準(zhǔn)確、一個是及時。豐富的數(shù)據(jù)可以為業(yè)務(wù)提供更多可以描述業(yè)務(wù)的方法，準(zhǔn)確的數(shù)據(jù)意味著交付結(jié)果及分析結(jié)論是可靠的，及時的是數(shù)據(jù)代表我們面對市場變化所能夠做出的反應(yīng)時間。因此，數(shù)據(jù)質(zhì)量的體系，要以保障這三條為主。
從這個角度來講，我們能夠總結(jié)出一些常見的數(shù)據(jù)問題，而這些都是我們需要關(guān)注的。
首先是唯一性，也就是常講的“主鍵唯一”，公共層的表主鍵必須唯一，例如訂單表中的訂單號、倉庫表中的倉庫編碼，等等；如果是DWS層，那么統(tǒng)計的維度也是要唯一的，例如商品 + sku的統(tǒng)計表中，這兩個ID的組合結(jié)果就要唯一。
其次是異常值，最常見的異常值是“空值”，如果一個字段的取值都是空，那么就需要考慮廢棄該字段；同時，還有一些比較常見的場景，比如支付金額一般情況下不能是負(fù)值，這些都考驗開發(fā)對于業(yè)務(wù)的熟練掌握程度；
再次是格式類型，比如日期的格式是否都是yyyyMMdd，再比如身份證號是不是有不符合位數(shù)的情況，不一而足；
最后是波動性，對于GMV、商品數(shù)這種全局性的指標(biāo)，如果波動太大那么出現(xiàn)問題的可能性就很大。
所以平時就要從各個數(shù)據(jù)的關(guān)鍵環(huán)節(jié)，與業(yè)務(wù)或者服務(wù)端、客戶端一起，解決這些問題。
在業(yè)務(wù)側(cè)，要規(guī)范運營的操作，比如該填寫的信息沒有寫，商品名稱沒有錄入；或者是填寫的信息存在問題，比如把小二的信息填錯了。
在工程側(cè)，問題產(chǎn)生的可能性最多，比如訂單號記錄重復(fù)了、數(shù)據(jù)精度轉(zhuǎn)換時出錯、數(shù)據(jù)存在空格導(dǎo)致與null產(chǎn)生差異，等等。
在消費側(cè)，同步任務(wù)重啟導(dǎo)致數(shù)據(jù)重復(fù)，或者是某些數(shù)據(jù)庫任務(wù)掛掉導(dǎo)致少同步數(shù)據(jù)，都可能造成數(shù)據(jù)缺失或者重復(fù)。
通常情況下，不論是哪個環(huán)節(jié)發(fā)現(xiàn)了問題，都要及時的止損，因為把錯誤數(shù)據(jù)放給了下游，導(dǎo)致大范圍的數(shù)據(jù)問題、數(shù)據(jù)重新刷新的成本，都是不可承受的。
當(dāng)然，我們保障數(shù)據(jù)質(zhì)量的方法，也都大同小異，主要包括：
數(shù)據(jù)規(guī)范：有道是“無規(guī)矩不成方圓”，規(guī)范并不是方便小二開發(fā)的，而是為了方便其他人閱讀和接手代碼的，排查問題時能夠更快的定位，因此是團(tuán)隊必須遵守的規(guī)范；
項目文檔：大多數(shù)時候，僅僅通過看代碼，我們是無法還原這么設(shè)計的意圖，因此整理下項目文檔，記錄背景、需求的詳情，以及建模的思考過程與流程圖，也是團(tuán)隊要強(qiáng)制的內(nèi)容；
DQC：為每一個關(guān)鍵任務(wù)，加上基本的數(shù)據(jù)校驗，如主鍵唯一、數(shù)據(jù)字段空值校驗，等等，這也是任務(wù)自測的關(guān)鍵環(huán)節(jié)；
自動化測試：很多測試部門會寫好任務(wù)回歸用例，常見的一些問題會總結(jié)成自動化的任務(wù)，能夠有效識別一些不常見的錯誤。
以上，就是數(shù)據(jù)質(zhì)量體系的常見內(nèi)容。
數(shù)據(jù)開發(fā)講求產(chǎn)出，不光要有“量”的結(jié)果，也要有“質(zhì)”的思考。如果一味的做基礎(chǔ)工作，被替代的可能性非常高。
因此，我們非常希望業(yè)務(wù)來提需求，因為這樣才能貼近業(yè)務(wù)去走，體現(xiàn)個人或者團(tuán)隊的價值；但同時，我們又希望更快的交付這些需求，這樣才能有時間，來把解決問題的過程或者方法，總結(jié)并沉淀下來。
開發(fā)的效率的提升方法，大體有四種：一是借助基礎(chǔ)平臺提供的工具，二是憑借完善的公共層，三是良好的業(yè)務(wù)Sense，四是多方順利的合作模式。
先講一下基礎(chǔ)平臺提供的工具，大數(shù)據(jù)的發(fā)展，從早期的靠工程師手動搭建集群、手動運維，發(fā)展到后來CDH這種有完善管理功能的集群，再發(fā)展到以阿里云為代表的完善商業(yè)化方案，工具提供的生產(chǎn)力已經(jīng)不同于往日。因此，市面上的崗位，也從早期的“大數(shù)據(jù)開發(fā)”，逐步的過渡到了“數(shù)據(jù)倉庫”，再到如今的“數(shù)據(jù)技術(shù)”，本質(zhì)還是用數(shù)據(jù)來做需求開發(fā)，但其本質(zhì)內(nèi)核已經(jīng)發(fā)生了比較大的變化?？梢哉f，正是因為工具的不斷完善，使得開發(fā)從偏后臺的職能，走向了前臺業(yè)務(wù)的職能。
在這個基礎(chǔ)上，SQL開發(fā)有工作臺、數(shù)據(jù)分析有在線文檔、運維有監(jiān)控平臺、元數(shù)據(jù)有數(shù)據(jù)地圖、任務(wù)執(zhí)行有像海豚調(diào)度這種完善的工具、數(shù)據(jù)庫有TiDB這種融合了OLAP和OLTP的工具、實時開發(fā)Flink統(tǒng)一天下?？梢灾v，數(shù)據(jù)開發(fā)如何使用好工具，已經(jīng)成為了提升開發(fā)效率的不二法寶。
再講一下完善的公共層，公共層是互聯(lián)網(wǎng)數(shù)據(jù)倉庫的核心理念，將復(fù)雜的業(yè)務(wù)由專門的團(tuán)隊，統(tǒng)一進(jìn)行管理和建模，降低了下游理解數(shù)據(jù)、使用數(shù)據(jù)的難度。因此，不論團(tuán)隊規(guī)模有多大、數(shù)據(jù)團(tuán)隊的發(fā)展到了怎樣的一個階段，把公共層做好，都是一件非常有必要的事情。
按照分層理論，公共層是DWD/DIM/DWS三者的統(tǒng)稱，也正好反映了Kimball所提出的一致性維度+一致**實。因此，公共層也是最考驗建模水平的階段，它是解決業(yè)務(wù)復(fù)雜性、保障準(zhǔn)確性的最重要基石。
其次講一下良好的業(yè)務(wù)Sense，因為建模所反映的是業(yè)務(wù)應(yīng)有的邏輯，但它不代表業(yè)務(wù)想看到的邏輯，比如在電商場景中，優(yōu)惠券的發(fā)放是一件比較復(fù)雜的事情，各種優(yōu)惠策略可以設(shè)置的很靈活。但因為策略設(shè)置的很靈活，因此公共層不太可能把運營的玩法記錄清楚，只是記錄發(fā)生了什么事情。因此，當(dāng)你想從應(yīng)用層建模的時候，會發(fā)現(xiàn)每年的玩法都在變，每年的模型都要改了重新做。最重要的是，如果沒有貼近業(yè)務(wù)，一不留神，數(shù)據(jù)沒按照玩法算，結(jié)果就是錯的，會被人追問數(shù)據(jù)準(zhǔn)確性問題。
這其實也是關(guān)系到開發(fā)效率的核心因素，即你能不能準(zhǔn)確理解業(yè)務(wù)的意圖，因為不會所有的需求都寫的一清二楚，很多邏輯還是需要自己來做判斷。
最后說一下多方順利的合作模式，雖然SQL開發(fā)是效率最高的交付語言了，但很多基礎(chǔ)性的工作，少不了和其他部門打交道，比如OLAP引擎、比如前端頁面、比如報表工具、比如工程業(yè)務(wù)邏輯，等等。因此，很多項目是否能夠如期完工，就需要看與其他團(tuán)隊的配合情況了。
做過項目管理的同學(xué)都清楚，項目工期取決于最長關(guān)鍵路徑，但互聯(lián)網(wǎng)業(yè)務(wù)的現(xiàn)狀，往往決定了服務(wù)端在跨團(tuán)隊合作中，是起到主導(dǎo)作用的，因此尤其要注意兩者的合作關(guān)系。
因為績效的壓力，我們需要高效率的做開發(fā)；又因為數(shù)據(jù)質(zhì)量/數(shù)據(jù)安全/業(yè)務(wù)投訴這種懸在頭上的達(dá)摩克斯之劍，我們又不能忽視繁瑣的質(zhì)量保障工作，怎么辦？
筆者的看法，我們有兩個突破口，來解決這個問題。首先，將質(zhì)量問題控制在某個層次上，也就是抓問題抓主要矛盾，其次，要有熟練的上手流程，避免重復(fù)性的說教工作。
將質(zhì)量問題控制在某個層次上。這其實要分兩個情況，一個是團(tuán)隊能夠有正常的排期研發(fā)流程；另一個是野蠻成長，追求競爭的機(jī)制。
對于正常排期的研發(fā)流程，建議在流程前加入模型評審的環(huán)節(jié)，流程后加入測試的環(huán)節(jié)。對于大多數(shù)的問題，模型評審能夠解決設(shè)計混亂的問題，而測試可以有效把低級問題消滅掉。再配合自測使用的DQC，基本上95%以上的問題，都可以解決掉。這種正常研發(fā)排期的環(huán)節(jié)，對數(shù)據(jù)質(zhì)量問題往往是控制的比較好的。
對于追求競爭的機(jī)制，那么公共層的設(shè)計就很重要，默認(rèn)情況下，100%的表要覆蓋DQC監(jiān)控，同時每個表也要配合三個以上的DQC規(guī)則。因為ADS開發(fā)節(jié)奏都很快，而且需求往往是變動性非常大的，今天改邏輯明天再改這種的，那么確保公共層是正確的的，阻斷大部分的問題，就很重要。
熟練的上手流程。其實數(shù)據(jù)開發(fā)不像工程，任務(wù)通常都是以表的形式存在，而且團(tuán)隊會跨業(yè)務(wù)線進(jìn)行開發(fā)工作，這些情況下，閱讀他人的代碼、熟悉他人的業(yè)務(wù)，就成了習(xí)以為常的事情。很多團(tuán)隊總是出問題，大體上集中在兩個階段，一個是老人帶新人階段，新人不懂坑有哪些；一個是業(yè)務(wù)交接的階段，不熟悉業(yè)務(wù)，會導(dǎo)致一些看似邏輯正確的改動，引起了某些業(yè)務(wù)上的邏輯缺陷。
從這個角度看，作為數(shù)據(jù)開發(fā)，不厭其煩的整理文檔、Review模型、匯報業(yè)務(wù)線情況，都是一些非常有必要的事情。一方面可以幫助團(tuán)隊其他同學(xué)了解業(yè)務(wù)，另一方面也為需求開發(fā)的背景和設(shè)計思路，留下比較充足的參考資料。從這個角度看，提供參考的規(guī)范與文檔定期Review，這件事情在工作中的占比，可以達(dá)到30%以上。
最后，我們還需要注意一點，就是要有與業(yè)務(wù)直接對話的通道，以培養(yǎng)業(yè)務(wù)Sense。比如，業(yè)務(wù)操作的規(guī)范性、一些常見的業(yè)務(wù)問題總結(jié)。
盡管我們是偏后臺的數(shù)據(jù)團(tuán)隊，但我們要走到前臺，就要有一種宣講、同步機(jī)制。這并不是故意擴(kuò)大影響力，而是確實有必要的。我們要講清楚數(shù)據(jù)背后的邏輯、數(shù)據(jù)計算的口徑、數(shù)據(jù)工具使用的方法，等等。尤其要講清楚，我們能做什么、不能做什么，有一套成熟的應(yīng)對方法，以解釋很多情況下數(shù)據(jù)與經(jīng)驗有偏差的原因，并把這些差異呈現(xiàn)出來。
雙方理解一致了，很多質(zhì)量問題，也就迎刃而解了。
祝大家工作994，生活工作兩balance。
-END-
本文為作者獨立觀點，不代表鳥哥筆記立場，未經(jīng)允許不得轉(zhuǎn)載。
《鳥哥筆記版權(quán)及免責(zé)申明》 如對文章、圖片、字體等版權(quán)有疑問，請點擊 反饋舉報
我們致力于提供一個高質(zhì)量內(nèi)容的交流平臺。為落實國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求，為完善跟帖評論自律管理，為了保護(hù)用戶創(chuàng)造的內(nèi)容、維護(hù)開放、真實、專業(yè)的平臺氛圍，我們團(tuán)隊將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進(jìn)行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容，同時也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。
一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護(hù)法》等法律法規(guī)，對以下違法、不良信息或存在危害的行為進(jìn)行處理。
1. 違反法律法規(guī)的信息，主要表現(xiàn)為：
1)反對憲法所確定的基本原則；
2)危害國家安全，泄露國家秘密，顛覆國家政權(quán)，破壞國家統(tǒng)一，損害國家榮譽(yù)和利益；
3)侮辱、濫用英烈形象，歪曲、丑化、褻瀆、否定英雄烈士事跡和精神，以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽(yù)、榮譽(yù)；
4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動；
5)煽動民族仇恨、民族歧視，破壞民族團(tuán)結(jié)；
6)破壞國家宗教政策，宣揚邪教和封建迷信；
7)散布謠言，擾亂社會秩序，破壞社會穩(wěn)定；
8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪；
9)煽動非法集會、結(jié)社、游行、示威、聚眾擾亂社會秩序；
10)侮辱或者誹謗他人，侵害他人名譽(yù)、隱私和其他合法權(quán)益；
11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式，對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進(jìn)行網(wǎng)絡(luò)欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法規(guī)禁止的其他內(nèi)容；
2. 不友善：不尊重用戶及其所貢獻(xiàn)內(nèi)容的信息或行為。主要表現(xiàn)為：
1)輕蔑：貶低、輕視他人及其勞動成果；
2)誹謗：捏造、散布虛假事實，損害他人名譽(yù)；
3)嘲諷：以比喻、夸張、侮辱性的手法對他人或其行為進(jìn)行揭露或描述，以此來激怒他人；
4)挑釁：以不友好的方式激怒他人，意圖使對方對自己的言論作出回應(yīng)，蓄意制造事端；
5)羞辱：貶低他人的能力、行為、生理或身份特征，讓對方難堪；
6)謾罵：以不文明的語言對他人進(jìn)行負(fù)面評價；
7)歧視：煽動人群歧視、地域歧視等，針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊；
8)威脅：許諾以不良的后果來迫使他人服從自己的意志；
3. 發(fā)布垃圾廣告信息：以推廣曝光為目的，發(fā)布影響用戶體驗、擾亂本網(wǎng)站秩序的內(nèi)容，或進(jìn)行相關(guān)行為。主要表現(xiàn)為：
1)多次發(fā)布包含售賣產(chǎn)品、提供服務(wù)、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式：
2)單個帳號多次發(fā)布包含垃圾廣告的內(nèi)容；
3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容；
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容，如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等，誘騙用戶點擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當(dāng)曝光；
6)購買或出售帳號之間虛假地互動，發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
7)發(fā)布包含欺騙性的惡意營銷內(nèi)容，如通過偽造經(jīng)歷、冒充他人等方式進(jìn)行惡意營銷；
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息，主要表現(xiàn)為：
1)包含自己或他人性經(jīng)驗的細(xì)節(jié)描述或露骨的感受描述；
2)涉及色情段子、兩性笑話的低俗內(nèi)容；
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容；
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想；
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適；
6)炒作緋聞、丑聞、劣跡等；
7)宣揚低俗、庸俗、媚俗內(nèi)容。
5. 不實信息，主要表現(xiàn)為：
1)可能存在事實性錯誤或者造謠等內(nèi)容；
2)存在事實夸大、偽造虛假經(jīng)歷等誤導(dǎo)他人的內(nèi)容；
3)偽造身份、冒充他人，通過頭像、用戶名等個人信息暗示自己具有特定身份，或與特定機(jī)構(gòu)或個人存在關(guān)聯(lián)。
6. 傳播封建迷信，主要表現(xiàn)為：
1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治??；
2)求推薦算命看相大師；
3)針對具體風(fēng)水等問題進(jìn)行求助或咨詢；
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失，包括通過占卜方法問婚姻、前程、運勢，東西寵物丟了能不能找回、取名改名等；
7. 文章標(biāo)題黨，主要表現(xiàn)為：
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導(dǎo)用戶；
2)內(nèi)容與標(biāo)題之間存在嚴(yán)重不實或者原意扭曲；
3)使用夸張標(biāo)題，內(nèi)容與標(biāo)題嚴(yán)重不符的。
8.「飯圈」亂象行為，主要表現(xiàn)為：
1)誘導(dǎo)未成年人應(yīng)援集資、高額消費、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點」、制造話題等形式干擾輿論，影響傳播秩序
9. 其他危害行為或內(nèi)容，主要表現(xiàn)為：
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導(dǎo)未成年人不良嗜好影響未成年人身心健康的；
2)不當(dāng)評述自然災(zāi)害、重大事故等災(zāi)難的；
3)美化、粉飾侵略戰(zhàn)爭行為的；
4)法律、行政法規(guī)禁止，或可能對網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動發(fā)現(xiàn)和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當(dāng)一個用戶發(fā)布違規(guī)內(nèi)容時，本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴(yán)重程度，對帳號進(jìn)行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當(dāng)涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號，或者濫用多個帳號發(fā)布違規(guī)內(nèi)容時，本網(wǎng)站將加重處罰。
三、申訴
隨著平臺管理經(jīng)驗的不斷豐富，本網(wǎng)站出于維護(hù)本網(wǎng)站氛圍和秩序的目的，將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議，可以通過「建議反饋」功能向本網(wǎng)站進(jìn)行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)