?數(shù)據(jù)中臺最后一公里:數(shù)據(jù)服務(wù)管理產(chǎn)品設(shè)計思路

編輯導(dǎo)語:做好數(shù)據(jù)服務(wù)管理,有助于數(shù)據(jù)價值的有效輸出,提升業(yè)務(wù)效率,并助推決策的產(chǎn)生。這就要求數(shù)據(jù)產(chǎn)品經(jīng)理想辦法解決數(shù)據(jù)服務(wù)管理平臺當下存在的一些問題,比如管理困難、權(quán)責不明等。本篇文章里,作者就數(shù)據(jù)服務(wù)的痛點、如何搭建好數(shù)據(jù)服務(wù)管理平臺等方面做了總結(jié),不妨來看一下。
數(shù)據(jù)的價值一個是數(shù)據(jù)驅(qū)動決策,主要通過數(shù)據(jù)可視化平臺、自助BI分析工具提升決策分析效率。另一個是數(shù)據(jù)在業(yè)務(wù)端的創(chuàng)新應(yīng)用,主要是API接口服務(wù)的方式,即DAAS(dataAPI as aservice)。
數(shù)據(jù)化運營時代,對API接口的需求與日俱增。例如APP首頁的千人千面的個性化推薦接口,根據(jù)用戶歷史消費訂單數(shù)實時彈屏新客大禮包,根據(jù)訪問用戶所處的生命周期,制定差異化的用戶激勵運營策略等。
你們公司,目前是如何構(gòu)建和管理數(shù)據(jù)API服務(wù)的呢?
通常一個普通API接口的開發(fā),需要數(shù)據(jù)開發(fā)工程師將數(shù)據(jù)按照業(yè)務(wù)邏輯進行清洗加工,再由Java開發(fā)人員進行接口變現(xiàn),即可以讓業(yè)務(wù)端通過接口調(diào)用數(shù)據(jù),例如實時查詢當前訪問用戶的歷史累計訂單數(shù),以判斷用戶是新客,進而派發(fā)新客大禮包。
對于個性化推薦接口,算法人員基于數(shù)倉模型進行特征數(shù)據(jù)分析處理,模型開發(fā)、訓練調(diào)優(yōu),然后將模型提供給接口開發(fā)人員進行實時的推理服務(wù)。
不管是哪種形式的接口,都會涉及多個工種,經(jīng)過N個環(huán)節(jié),一個接口的上線周期至少以周為單位,這個時效對于業(yè)務(wù)端創(chuàng)新應(yīng)用的支撐是遠遠不夠的。
對于普通的API接口,Java開發(fā)可能只需要按照接口文檔約定的出入?yún)⒏袷竭M行SQL查詢語句的封裝再做一些性能調(diào)優(yōu)就可以了,考慮接口性能問題多數(shù)邏輯都會在數(shù)據(jù)模型層處理好。
這種需求對于開發(fā)人員來說個人成就感是比較低的,看似每天都在忙,忙碌但缺少成功的輸出。有更追求的開發(fā)不會愿意長期做接口變現(xiàn),接口開發(fā)團隊的人員穩(wěn)定性是個問題。
對外輸出的API接口太多,隨著人員的離職更替,歷史接口的邏輯、業(yè)務(wù)端的應(yīng)用情況管理成了老大難的問題,因為找不到接口調(diào)用方,難以判斷接口的應(yīng)用場景,接口數(shù)量只增不減。
長期以來,需要維護的接口數(shù)量越來越多,服務(wù)器成本、運維成本都居高不下。
“不知道接口有誰在用”,這是經(jīng)常聽到接口開發(fā)講的一句話,他們也很委屈,因為接口是四五年前開發(fā)的,前任并沒有交接的那么詳細。
即使通過接口可用性監(jiān)控發(fā)現(xiàn)了服務(wù)異常,也沒辦法逐一地找到并通知應(yīng)用方。只能被動地等著業(yè)務(wù)來反饋。甚至連監(jiān)控都沒有,時不時收到業(yè)務(wù)反饋說,這個接口是不是你們負責的,出了XX問題,你們排查一下。
因為服務(wù)以接口輸出,接口出問題一般會直接找接口開發(fā),接口開發(fā)通過翻代碼發(fā)現(xiàn)是數(shù)據(jù)問題,又找到數(shù)據(jù)開發(fā)進行邏輯確認,“數(shù)據(jù)問題,我沒法排查”,會出現(xiàn)相互推諉的情況。
數(shù)據(jù)中臺的核心思想是能力復(fù)用和數(shù)據(jù)應(yīng)用效率的提升,資產(chǎn)是數(shù)據(jù)中臺的核心,沒有資產(chǎn)的數(shù)據(jù)中臺只能叫數(shù)據(jù)平臺或工具。
因此,數(shù)據(jù)服務(wù)管理必須建立在數(shù)據(jù)資產(chǎn)層之上。數(shù)據(jù)資產(chǎn)層以O(shè)neData為方法論基礎(chǔ)進行模型、指標的建設(shè),構(gòu)建分級分類清晰的數(shù)據(jù)資產(chǎn)管理與治理體系。
數(shù)據(jù)服務(wù)層作為數(shù)據(jù)中臺價值輸出的最后一公里,數(shù)據(jù)服務(wù)管理效率的高低,直接影響數(shù)據(jù)中臺價值的體現(xiàn),它提供的核心解決思路是復(fù)用資產(chǎn)層的數(shù)據(jù)能力,通過平臺化、配置化的方式,快速生成API服務(wù),減少定制化開發(fā)對不同工種的依賴。數(shù)據(jù)服務(wù)管理平臺需要具備以下核心的能力:
1)指標類接口
一般輸出給定制化開發(fā)的可視化報表平臺或業(yè)務(wù)端后臺進行數(shù)據(jù)效果分析,指標類基本都可以抽象出來指標+維度+限定條件的方式,即:指標和數(shù)據(jù)模型綁定,從哪個表中取哪個字段,字段的聚合邏輯是什么,指標支持的分析維度有哪些?
前端頁面調(diào)用時,傳入指標ID、限制條件參數(shù),即可返回數(shù)值。指標管理平臺處理管理統(tǒng)一指標外,還需要支持指標接口的服務(wù)化輸出,這樣針對定制化程度高、BI工具無法配置的可視化需求,如大屏可視化,只需要數(shù)據(jù)開發(fā)人員清洗好指標數(shù)據(jù)后,進行配置即可輸出,無需接口開發(fā)介入。
2)用戶或商品維度的接口
歸根到底也可以歸為指標類接口,但是由于數(shù)據(jù)的維度聚焦于單個用戶或者商品,應(yīng)用場景主要是精細化運營或產(chǎn)品智能,因此在場景配置方面需要一定的差異化。
承接的載體主要是CDP(客戶數(shù)據(jù)平臺)、畫像平臺等。在資產(chǎn)建設(shè)部分,講用戶畫像、商品畫像體系標簽化,通過豐富的標簽構(gòu)建用戶、商品的精細化分層能力。
例如北京環(huán)球度假區(qū)開業(yè)業(yè)務(wù)想借熱點拉新(首次消費),于是通過用戶標簽和商品資源標簽,找到了需要找到近期有旅游計劃,目的是北京,曾經(jīng)購買過迪士尼樂園等主題的景點的年輕用戶,當符合條件的用戶進入APP首頁,進行促銷紅包彈屏,刺激用戶下單。
這類需求以運營場景為載體,最終輸出的是用戶ID維度的接口服務(wù)或者批量數(shù)據(jù)輸出,接口結(jié)構(gòu)也非常容易標準化。
可以構(gòu)建的配置流程是:多標簽條件篩選目標人群或商品,構(gòu)建運營場景(get接口調(diào)用方式還是Post數(shù)據(jù)推送),生成輸出接口對接業(yè)務(wù)端觸達通道(站內(nèi)實時訪問時調(diào)用接口,或批量的短信推送服務(wù))。
3)模型輸出類接口
此類接口是最容易標準化的,就是直接將模型中的字段接口化輸出,比如模型是團購訂單明細寬表,業(yè)務(wù)端需要判斷用戶是否有待消費的訂單,訂單的業(yè)務(wù)類別、下單時間、消費時間等,以判斷用戶是否可以參與抽獎活動。只需要選擇輸入字段、輸出字段、狀態(tài)碼以及應(yīng)用信息即可。
這樣,數(shù)據(jù)開發(fā)既是數(shù)據(jù)邏輯加工者,也是接口配置者,對結(jié)果負責,可以減少對Java人員的依賴,提升業(yè)務(wù)賦能效率。
圖片來源:阿里dataworks官網(wǎng)公開資料
4)個性化推薦類接口
大數(shù)據(jù)的出口是AI,數(shù)據(jù)賦能很大程度依賴AI賦能。產(chǎn)品千人千面?zhèn)€性化推薦、算法挖掘預(yù)測類用戶畫像標簽,數(shù)據(jù)服務(wù)管理平臺把標簽管理、機器學習平臺模型文件、在線推理接口服務(wù)整合起來,解決推薦接口caseby case開發(fā)效率低的問題。
圖片來源:騰訊DMP modellab功能
總體來說,接口服務(wù)配置化是數(shù)據(jù)服務(wù)管理平臺最最核心的能力,將接口生產(chǎn)流程產(chǎn)品化,數(shù)據(jù)開發(fā)、算法開發(fā)、甚至業(yè)務(wù)同學就可以自助完成接口配置上線,供應(yīng)用端使用。
此時就不需要接口類的數(shù)據(jù)產(chǎn)品經(jīng)理每天去和業(yè)務(wù)對需求,你的出參、入?yún)⑹鞘裁?,統(tǒng)計邏輯是個啥,再轉(zhuǎn)化成PRD文檔協(xié)調(diào)數(shù)據(jù)開發(fā)、接口開發(fā)排期了。
接口的響應(yīng)周期主要取決于數(shù)據(jù)資產(chǎn)建設(shè)完善度以及新增模型(標簽)的開發(fā)周期。Java開發(fā)可以更聚焦于通用接口生產(chǎn)能力建設(shè)、接口性能調(diào)優(yōu)工作,更具挑戰(zhàn)性也更有成就感。
API接口平臺化配置后,平臺內(nèi)接口與模型、字段的血緣關(guān)系以及接口與下游應(yīng)用的關(guān)系數(shù)據(jù)可以很容易獲取到。將這部分數(shù)據(jù)與模型加工產(chǎn)品的血緣鏈路進行關(guān)聯(lián)補充,就可以形成從源端數(shù)據(jù)到API以及下游產(chǎn)品應(yīng)用的全鏈路數(shù)據(jù)血緣,通過可視化展示方式,可以方便地知道接口生成鏈路。
上游數(shù)據(jù)異常時,也很方便排查影響范圍,做好及時通知。
數(shù)據(jù)服務(wù)接口一般面向toC的產(chǎn)品應(yīng)用,接口穩(wěn)定性和性能需要做到實時監(jiān)控。
谷歌有一個著名的10X理論,即技術(shù)的相關(guān)指標要至少保證10X于當前業(yè)務(wù),例如正常情況下業(yè)務(wù)接口流量QPS為1000,那只要保證接口能夠抗住10000的流量,這樣才能更加穩(wěn)妥的應(yīng)對一些節(jié)假日高峰、爆款現(xiàn)象級產(chǎn)品或外部異常流量攻擊。
因此,數(shù)據(jù)服務(wù)管理平臺要具備接口實時流量、超時率、平均耗時、日均請求次數(shù)、錯誤率等服務(wù)指標,并且做到異常報警通知,電話、短信、郵件多渠道,以出現(xiàn)問題時可以第一時間跟進修復(fù)。
過去接口管理方式是在線文檔,文檔傳閱靠口口相傳,嚴重影響接口的復(fù)用,且不同開發(fā)文檔標準不統(tǒng)一。
通過線上化的方式把所有接口當做一種數(shù)據(jù)資產(chǎn)進行管理,接口的需求元數(shù)據(jù)(需求工單)、技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)等信息完善,并且可以查看接口文檔、性能指標、流量控制、一鍵上下線處理,可以更加方便地管理線上接口。
有了平臺化的工具,是不是人人都可以直接配置接口使用數(shù)據(jù)了呢?
出于數(shù)據(jù)安全以及業(yè)務(wù)對數(shù)據(jù)的理解程度等方面,接口的配置權(quán)限還是要管控在數(shù)據(jù)開發(fā)、數(shù)據(jù)產(chǎn)品或者具備開發(fā)能力的業(yè)務(wù)開發(fā)角色中,相應(yīng)的,就需要有配套的接口需求申請流程、已有接口申請token復(fù)用流程,并且和內(nèi)部IM結(jié)合,形成需求提交、工單流轉(zhuǎn)、處理反饋的數(shù)據(jù)服務(wù)需求流程閉環(huán)。
數(shù)據(jù)服務(wù)(API)是數(shù)據(jù)中臺的最后一公里,是數(shù)據(jù)價值輸出的重要形式之一,API生產(chǎn)效率的高低直接影響了數(shù)據(jù)對業(yè)務(wù)賦能的效率。
因此,作為數(shù)據(jù)產(chǎn)品經(jīng)理,要多調(diào)研多分析服務(wù)流程現(xiàn)狀、耗時最長的步驟或環(huán)節(jié),尋求產(chǎn)品化的解決方案并不斷優(yōu)化,提升API服務(wù)與管理效率。
數(shù)據(jù)干飯人,微信號公眾號:數(shù)據(jù)干飯人,人人都是產(chǎn)品經(jīng)理專欄作家。專注數(shù)據(jù)中臺產(chǎn)品領(lǐng)域,覆蓋開發(fā)套件,數(shù)據(jù)資產(chǎn)與數(shù)據(jù)治理,BI與數(shù)據(jù)可視化,精準營銷平臺等數(shù)據(jù)產(chǎn)品。擅長大數(shù)據(jù)解決方案規(guī)劃與產(chǎn)品方案設(shè)計。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議
本文系作者:
林先生
授權(quán)發(fā)表,鳥哥筆記平臺僅提供信息存儲空間服務(wù)。
本文為作者獨立觀點,不代表鳥哥筆記立場,未經(jīng)允許不得轉(zhuǎn)載。
《鳥哥筆記版權(quán)及免責申明》
如對文章、圖片、字體等版權(quán)有疑問,請點擊
反饋舉報
我們致力于提供一個高質(zhì)量內(nèi)容的交流平臺。為落實國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求,為完善跟帖評論自律管理,為了保護用戶創(chuàng)造的內(nèi)容、維護開放、真實、專業(yè)的平臺氛圍,我們團隊將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容,同時也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。
一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護法》等法律法規(guī),對以下違法、不良信息或存在危害的行為進行處理。
1. 違反法律法規(guī)的信息,主要表現(xiàn)為:
1)反對憲法所確定的基本原則;
2)危害國家安全,泄露國家秘密,顛覆國家政權(quán),破壞國家統(tǒng)一,損害國家榮譽和利益;
3)侮辱、濫用英烈形象,歪曲、丑化、褻瀆、否定英雄烈士事跡和精神,以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽、榮譽;
4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動;
5)煽動民族仇恨、民族歧視,破壞民族團結(jié);
6)破壞國家宗教政策,宣揚邪教和封建迷信;
7)散布謠言,擾亂社會秩序,破壞社會穩(wěn)定;
8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪;
9)煽動非法集會、結(jié)社、游行、示威、聚眾擾亂社會秩序;
10)侮辱或者誹謗他人,侵害他人名譽、隱私和其他合法權(quán)益;
11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式,對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進行網(wǎng)絡(luò)欺凌的;
12)危害未成年人身心健康的;
13)含有法律、行政法規(guī)禁止的其他內(nèi)容;
2. 不友善:不尊重用戶及其所貢獻內(nèi)容的信息或行為。主要表現(xiàn)為:
1)輕蔑:貶低、輕視他人及其勞動成果;
2)誹謗:捏造、散布虛假事實,損害他人名譽;
3)嘲諷:以比喻、夸張、侮辱性的手法對他人或其行為進行揭露或描述,以此來激怒他人;
4)挑釁:以不友好的方式激怒他人,意圖使對方對自己的言論作出回應(yīng),蓄意制造事端;
5)羞辱:貶低他人的能力、行為、生理或身份特征,讓對方難堪;
6)謾罵:以不文明的語言對他人進行負面評價;
7)歧視:煽動人群歧視、地域歧視等,針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊;
8)威脅:許諾以不良的后果來迫使他人服從自己的意志;
3. 發(fā)布垃圾廣告信息:以推廣曝光為目的,發(fā)布影響用戶體驗、擾亂本網(wǎng)站秩序的內(nèi)容,或進行相關(guān)行為。主要表現(xiàn)為:
1)多次發(fā)布包含售賣產(chǎn)品、提供服務(wù)、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式:
2)單個帳號多次發(fā)布包含垃圾廣告的內(nèi)容;
3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容;
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容,如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等,誘騙用戶點擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當曝光;
6)購買或出售帳號之間虛假地互動,發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
7)發(fā)布包含欺騙性的惡意營銷內(nèi)容,如通過偽造經(jīng)歷、冒充他人等方式進行惡意營銷;
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息,主要表現(xiàn)為:
1)包含自己或他人性經(jīng)驗的細節(jié)描述或露骨的感受描述;
2)涉及色情段子、兩性笑話的低俗內(nèi)容;
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容;
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想;
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適;
6)炒作緋聞、丑聞、劣跡等;
7)宣揚低俗、庸俗、媚俗內(nèi)容。
5. 不實信息,主要表現(xiàn)為:
1)可能存在事實性錯誤或者造謠等內(nèi)容;
2)存在事實夸大、偽造虛假經(jīng)歷等誤導(dǎo)他人的內(nèi)容;
3)偽造身份、冒充他人,通過頭像、用戶名等個人信息暗示自己具有特定身份,或與特定機構(gòu)或個人存在關(guān)聯(lián)。
6. 傳播封建迷信,主要表現(xiàn)為:
1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治病;
2)求推薦算命看相大師;
3)針對具體風水等問題進行求助或咨詢;
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失,包括通過占卜方法問婚姻、前程、運勢,東西寵物丟了能不能找回、取名改名等;
7. 文章標題黨,主要表現(xiàn)為:
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導(dǎo)用戶;
2)內(nèi)容與標題之間存在嚴重不實或者原意扭曲;
3)使用夸張標題,內(nèi)容與標題嚴重不符的。
8.「飯圈」亂象行為,主要表現(xiàn)為:
1)誘導(dǎo)未成年人應(yīng)援集資、高額消費、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點」、制造話題等形式干擾輿論,影響傳播秩序
9. 其他危害行為或內(nèi)容,主要表現(xiàn)為:
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導(dǎo)未成年人不良嗜好影響未成年人身心健康的;
2)不當評述自然災(zāi)害、重大事故等災(zāi)難的;
3)美化、粉飾侵略戰(zhàn)爭行為的;
4)法律、行政法規(guī)禁止,或可能對網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動發(fā)現(xiàn)和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當一個用戶發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴重程度,對帳號進行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號,或者濫用多個帳號發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將加重處罰。
三、申訴
隨著平臺管理經(jīng)驗的不斷豐富,本網(wǎng)站出于維護本網(wǎng)站氛圍和秩序的目的,將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議,可以通過「建議反饋」功能向本網(wǎng)站進行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)