很可惜 T 。T 您現(xiàn)在還不是作者身份，不能自主發(fā)稿哦～
如有投稿需求，請把文章發(fā)送到郵箱tougao@appcpx.com，一經(jīng)錄用會有專人和您聯(lián)系
咨詢?nèi)绾纬蔀榇河鹱髡哒埪?lián)系：鳥哥筆記小羽毛（ngbjxym）
作者｜九果
備注：如果您已經(jīng)知道為什么要做埋點管理系統(tǒng)了，可以直接跳去第三節(jié)看埋點管理系統(tǒng)的建設(shè)過程。如果還沒有很好的了解過埋點管理系統(tǒng)，建議從頭開始讀起，本文章小長，但是一定有干貨哦，建議好好讀完！
如果你是一名數(shù)據(jù)分析師，是否有過這樣的經(jīng)歷，當你需要查詢APP產(chǎn)品埋點數(shù)據(jù)的時候，你不得不經(jīng)常找數(shù)據(jù)產(chǎn)品經(jīng)理去確認是否已有埋點，埋了哪些字段，是否已有上報數(shù)據(jù)等，常常這些埋點事件元信息分散在多個產(chǎn)品經(jīng)理手上，信息散亂，分析師使用埋點數(shù)據(jù)之前溝通成本極高，影響數(shù)據(jù)使用的效率……
不僅如此，我們還會遇到埋點數(shù)據(jù)異常，追溯埋點歷史問題過程也是非常的漫長，需要數(shù)據(jù)產(chǎn)品經(jīng)理去跟業(yè)務(wù)產(chǎn)品經(jīng)理確認埋點需求的版本，然后數(shù)據(jù)產(chǎn)品經(jīng)理確認埋點設(shè)計需求的批次，然后給到開發(fā)，開發(fā)同事再去查找問題……
以上種種問題場景相信大家都經(jīng)歷過，且一直是困擾著我們的痛點。
埋點場景的痛點我總結(jié)為以下5點：
1、埋點需求及埋點設(shè)計文檔管理散亂，產(chǎn)品，開發(fā)，測試協(xié)同溝通效率低下，嚴重影響工作效率。
2、埋點事件元信息管理散亂，常是分布在多個產(chǎn)品經(jīng)理手上，分析師使用埋點數(shù)據(jù)時需要查詢埋點需求及埋點事件的元信息這個過程鏈路長，溝通成本非常高，埋點元信息使用查詢極其不便利。
3、若出現(xiàn)埋點數(shù)據(jù)異常問題，若開發(fā)同事需要追溯埋點歷史數(shù)據(jù)，則更是需要有當時的埋點需求批次和埋點設(shè)計文檔作為輔助，這時候的埋單需求文檔和埋點元信息的統(tǒng)一管理，對于歷史問題追溯問題的效率有極其大的幫助。
4、非可視化測試，驗收埋點難度太大。每次都要跑去數(shù)據(jù)庫了查詢，對于沒有寫SQL基礎(chǔ)的業(yè)務(wù)經(jīng)理來說，驗收埋點數(shù)據(jù)的效率就會比埃及地下。
5、數(shù)據(jù)校驗流程混亂，版本管理難度大，開發(fā)同學常常要自己開發(fā)一個后臺管理功能來管理埋點發(fā)布或下線的版本。
有沒有比較好的方法解決以上問題呢，答案是有的！就是我們下面要介紹的埋點管理系統(tǒng)。埋點管理系統(tǒng)是做什么用的？埋點管理系統(tǒng)為啥在數(shù)據(jù)產(chǎn)品體系中相對少聽到，為什么業(yè)內(nèi)也沒有非常出名和成熟的產(chǎn)品？
埋點管理系統(tǒng)本質(zhì)是解決數(shù)據(jù)采集及數(shù)據(jù)使用場景問題的業(yè)務(wù)系統(tǒng)，業(yè)務(wù)方則是數(shù)據(jù)產(chǎn)品、數(shù)據(jù)開發(fā)工程師、數(shù)據(jù)分析師等數(shù)據(jù)團隊的人員。
在業(yè)務(wù)尚處于快速發(fā)展的階段，數(shù)據(jù)團隊的領(lǐng)導更多關(guān)注的是為業(yè)務(wù)團隊提供數(shù)據(jù)產(chǎn)品，而通過給數(shù)據(jù)團隊提供數(shù)據(jù)工具來提升數(shù)據(jù)服務(wù)的效率，這個問題一般是在數(shù)據(jù)團隊的服務(wù)能力相對穩(wěn)定和成熟之后才會去落地。也就是當大家的KPI都是在滿足業(yè)務(wù)的數(shù)據(jù)需求的時候，只要有可替代的方案，領(lǐng)導會更愿意暫時用著替代方案去解決這個問痛。
比較常見的例子，數(shù)據(jù)分析師在業(yè)務(wù)處于快速發(fā)展的階段就大概率只讓你取數(shù)，未必讓你真正的去做業(yè)務(wù)數(shù)據(jù)分析的活兒。等數(shù)據(jù)取數(shù)這類需求達到一定的數(shù)量，老板才會想著去開發(fā)可視化類的取數(shù)工具，幫助數(shù)據(jù)分析師從大量的數(shù)據(jù)查詢和報表開發(fā)的工作解脫出來，去做更加有價值的業(yè)務(wù)專題分析的工作。
回到主題，埋點管理系統(tǒng)也常常會等到埋點需求非常多，從埋點需求產(chǎn)出端到埋點需求使用方都感覺到這個合作流程已經(jīng)影響了整體的工作效率的時候，埋點管理系統(tǒng)才會被老板想到，這個工具是否可以替代原本的零散和低效的協(xié)同模式來提高大家的工作效率。所以，埋點管理系統(tǒng)本身是一個提升數(shù)據(jù)同事工作效率的工具。
埋點管理系統(tǒng)能解決問題主要有以下5點：
1、通過統(tǒng)一管理應用產(chǎn)品及埋點設(shè)計，解決了埋點需求及埋點設(shè)計管理散亂，產(chǎn)品團隊、開發(fā)團及測試團隊，數(shù)據(jù)應用團隊的協(xié)同溝通效率低下問題。
2、通過統(tǒng)一管理埋點事件的元信息，解決了數(shù)據(jù)應用場景中需要高頻及便利的查詢查詢埋點事件元信息問題。
3、通過統(tǒng)一的埋點需求管理及事件元信息管理，解決了開發(fā)同事在遇到埋點數(shù)據(jù)異常需要追溯歷史埋點。
4、通過可視化抓包，解決了埋點數(shù)據(jù)驗收的重度依賴數(shù)據(jù)庫查詢的相對低效的方法。
5、通過可視化對比校驗和發(fā)布／下線能力，解決了開發(fā)同事單獨管理埋點需求的版本及發(fā)布場景問題，并有明確的數(shù)據(jù)校驗流程，從而間接提升數(shù)據(jù)質(zhì)量的管理。
說了埋點管理系統(tǒng)能解決的問題，接下來聊聊埋點管理系統(tǒng)長啥樣，如何才能設(shè)計出解決我們以上問題的埋點管理系統(tǒng)。在此之前，我們先了解埋點場景的業(yè)務(wù)流程：
圖一：埋點業(yè)務(wù)流程圖1
接下來將按照埋點涉及的角色和流程節(jié)點兩個維度一起闡述：
在需求階段：業(yè)務(wù)團隊跟數(shù)據(jù)產(chǎn)品團隊提出埋點需求，數(shù)據(jù)產(chǎn)品團隊會根據(jù)用戶的當期及未來的統(tǒng)計需求，確認增加哪些埋點，并通過拆解埋點需求指標，輸出埋點設(shè)計文檔；而后，產(chǎn)品團隊跟大數(shù)據(jù)開發(fā)團隊進行埋帶設(shè)計需求的評審，評審通過之后再上線開發(fā)。
埋點開發(fā)階段：開發(fā)團隊同事按照數(shù)據(jù)產(chǎn)品經(jīng)理提供的已評審過的埋點設(shè)計文檔進行開發(fā)；開發(fā)自測完成后會提測給測試同事，測試同事按照埋點設(shè)計文檔進行功能和數(shù)據(jù)的測試；測試通過后，數(shù)據(jù)產(chǎn)品經(jīng)理將進行埋點驗收，產(chǎn)品經(jīng)理不但要按照埋點設(shè)計文檔驗收事件及事件參數(shù)的完整性，也要去數(shù)據(jù)哭驗收埋點數(shù)據(jù)的準確性。
埋點應用階段：埋點上線后，數(shù)據(jù)分析團隊就可以直接去按照埋點設(shè)計文檔去數(shù)據(jù)庫查詢提取埋點數(shù)據(jù)進行分析應用了。這個過程，分析師一般需要先跟產(chǎn)品經(jīng)理先過一遍新上的埋點設(shè)計文檔后再開始使用數(shù)據(jù)。
埋點回收階段：埋點也是有生命周期的，有開始時間也會有結(jié)束時間。若產(chǎn)品已經(jīng)下線，且后期將長期不再需要使用這些用戶行為數(shù)據(jù)了，基于海量數(shù)據(jù)存儲成本和資源浪費力的角度考量，企業(yè)會愿意將這類埋點下線。一般并不會直接下線，標識上可以下線的標識后，一般過3-6個月依然不再被范圍調(diào)用，則執(zhí)行下線。
業(yè)務(wù)流程確認了，我們就在對應的業(yè)務(wù)流程上增加產(chǎn)品功能模塊去承載每個業(yè)務(wù)流程節(jié)點的需求，如下圖：
圖二：埋點業(yè)務(wù)流程圖2
通過埋點業(yè)務(wù)流程的梳理，得出了多個系統(tǒng)功能模塊，拆解出來的埋點系統(tǒng)功能結(jié)構(gòu)如下圖：
圖三：埋點管理系統(tǒng)功能結(jié)構(gòu)圖
在功能結(jié)構(gòu)圖中提到了應用、埋點需求、事件、屬性等對象，在展開闡述每個功能模塊之前，我們先了解一下埋點管理系統(tǒng)里涉及到的全部管理對象及對象之間的關(guān)系。
圖四：埋點事件模型圖
埋點管理系統(tǒng)一共涉及到四個對象，分別是應用、埋點需求批次、埋點事件、事件屬性。他們之間的關(guān)系是自上而下的邏輯關(guān)系。比如在系統(tǒng)的埋點需求管理模塊，篩選出一個應用名稱，則對應展示的是選中的應用下面的所有埋點需求清單，選中單個埋點需求批次的時候，對應展現(xiàn)的就是這個批次下面的所有埋點事件。了解到此，下面我將分別展開介紹每個模塊的功能：
應用管理功能主要是承載業(yè)務(wù)團隊新增一個APP/小程序／H5／web端等業(yè)務(wù)產(chǎn)品對象，我們需要在系統(tǒng)里先創(chuàng)建一個新的埋點產(chǎn)品對象，然后才有后續(xù)增加的埋點需求及事件元信息等。這個模塊包含應用新增、刪除、編輯等基礎(chǔ)功能。產(chǎn)品團隊需要負責的埋點產(chǎn)品都可以放在這里統(tǒng)一管理。
圖五：應用管理列表圖
埋點需求管理功能主要承載集中管理業(yè)務(wù)團隊提過來給產(chǎn)品團隊的埋點需求文檔，這里可以創(chuàng)建需求、編輯需求、下鉆需求、下線需求等。在這里，需求按照批次來進行管理，每一個埋點需求都有一個唯一的批次號，掛載到對應的應用及版本上，并且點擊單個埋點需求批次號，可以直接下鉆到該埋點需求下的全部事件列表。
圖六：埋點需求管理列表圖
事件管理功能則承載來所有埋點需求拆解出來需要開發(fā)的埋點事件元信息，這里可以創(chuàng)建事件、編輯事件、下鉆事件、搜索事件、下線事件等。事件是埋點拆解的最小對象單元，在這里每個事件都要掛載在對應的埋點需求批次上，系統(tǒng)里沒有獨立自自己游蕩的事件。這樣所有的應用、埋點需求批次和事件都有了映射關(guān)系。當需要使用埋點數(shù)據(jù)時，先來埋點管理系統(tǒng)查找埋點需求批次，這種清晰的映射關(guān)系在查詢埋點元信息時提供了高效的途徑。
圖七：埋點需求管理列表圖
屬性管理功能模塊承載的是常用的有共性的屬性。一個個獨立的屬性常用屬性，比如用用戶ID、用戶客戶端系統(tǒng)、在線時長等屬性，可以在屬性管理這里完成注冊。在用戶新建事件時，可以直接引用已注冊完成的屬性綁定到事件上，減少用戶填寫事件屬性信息時的大量重復填寫工作。
走到這里，埋點已經(jīng)開發(fā)完成了，到了測試、驗收、上線的環(huán)節(jié)。這里的埋點校驗包含兩部分，可視化抓包測試及開發(fā)環(huán)境和測試環(huán)境的信息對比。完成這兩個環(huán)節(jié)之后，開發(fā)同事才可以把埋點發(fā)布到正式環(huán)境。
可視化抓包測試
可視化抓包功能頁主要提供給產(chǎn)品經(jīng)理和測試同學可以現(xiàn)場抽樣測試事件數(shù)據(jù)，檢查上報的屬性是否已經(jīng)完整，屬性值是否準確。
圖八：埋點數(shù)據(jù)實時抓包圖
對比與同步：
在線對比和發(fā)布功能頁則是承載了開發(fā)童鞋對比生產(chǎn)環(huán)境和測試環(huán)境埋點元信息的差異之處，幫助快速確認已經(jīng)進行了變更處理之處。及支持開發(fā)童鞋在線可視化發(fā)布埋點事件，便捷高效。
圖九：埋點需求對比及同步功能圖
埋點監(jiān)控功能承載的則是埋點管理系統(tǒng)全部埋點事件的及任務(wù)運行的結(jié)果監(jiān)控。包括展示全部埋點應用統(tǒng)計數(shù)、埋點需求統(tǒng)計數(shù)、事件統(tǒng)計數(shù)、有效在線事件統(tǒng)計數(shù)、異常的埋點事件數(shù)、未處理的埋點需求／事件數(shù)等，是統(tǒng)計和展示整個系統(tǒng)管理對象及對象運行情況的監(jiān)控功能模塊。方便參與埋點工作的同事了解整體產(chǎn)品的埋點任務(wù)運行情況，和及時發(fā)現(xiàn)埋點上報數(shù)據(jù)的異常情況。也是埋點管理系統(tǒng)的一個必不可少的模塊。
以上從埋點管理系統(tǒng)的定位和解決的痛點問題，及系統(tǒng)的建設(shè)過程給大家闡述一遍，希望能幫助大家在對埋點管理系統(tǒng)及建設(shè)有個相對完整的認識。
最后，總結(jié)幾點系統(tǒng)建設(shè)過程中的思考及注意事項分享給大家：
1、埋點管理系統(tǒng)是一個服務(wù)于數(shù)據(jù)團隊但涉及合作團隊較多的系統(tǒng)。在不同公司，可能埋點業(yè)務(wù)流程不一樣，而我這里分享的是我經(jīng)歷過的埋點工作場景中協(xié)同效率比較高效的埋點業(yè)務(wù)流程，希望能提供參考借鑒。
2、埋點需求批次跟應用版本號不完全保持一致，不要當作是形同對象而相互替代。因為很可能在后期版本增加早期發(fā)版的產(chǎn)品功能的埋點。如果當作同一個問題處理，將導致埋點需求管理能力可擴展性太弱，很快整個系統(tǒng)都陷入了管理瓶頸。
3、埋點管理系統(tǒng)真實可以提升業(yè)務(wù)、產(chǎn)品、開發(fā)、數(shù)據(jù)分析多個團隊的協(xié)同效率，用起來非常爽，能早建設(shè)盡早建設(shè)。
此處完結(jié)。
-END-
本文為作者獨立觀點，不代表鳥哥筆記立場，未經(jīng)允許不得轉(zhuǎn)載。
《鳥哥筆記版權(quán)及免責申明》 如對文章、圖片、字體等版權(quán)有疑問，請點擊 反饋舉報
我們致力于提供一個高質(zhì)量內(nèi)容的交流平臺。為落實國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求，為完善跟帖評論自律管理，為了保護用戶創(chuàng)造的內(nèi)容、維護開放、真實、專業(yè)的平臺氛圍，我們團隊將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容，同時也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。
一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護法》等法律法規(guī)，對以下違法、不良信息或存在危害的行為進行處理。
1. 違反法律法規(guī)的信息，主要表現(xiàn)為：
1)反對憲法所確定的基本原則；
2)危害國家安全，泄露國家秘密，顛覆國家政權(quán)，破壞國家統(tǒng)一，損害國家榮譽和利益；
3)侮辱、濫用英烈形象，歪曲、丑化、褻瀆、否定英雄烈士事跡和精神，以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽、榮譽；
4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動；
5)煽動民族仇恨、民族歧視，破壞民族團結(jié)；
6)破壞國家宗教政策，宣揚邪教和封建迷信；
7)散布謠言，擾亂社會秩序，破壞社會穩(wěn)定；
8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪；
9)煽動非法集會、結(jié)社、游行、示威、聚眾擾亂社會秩序；
10)侮辱或者誹謗他人，侵害他人名譽、隱私和其他合法權(quán)益；
11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式，對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進行網(wǎng)絡(luò)欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法規(guī)禁止的其他內(nèi)容；
2. 不友善：不尊重用戶及其所貢獻內(nèi)容的信息或行為。主要表現(xiàn)為：
1)輕蔑：貶低、輕視他人及其勞動成果；
2)誹謗：捏造、散布虛假事實，損害他人名譽；
3)嘲諷：以比喻、夸張、侮辱性的手法對他人或其行為進行揭露或描述，以此來激怒他人；
4)挑釁：以不友好的方式激怒他人，意圖使對方對自己的言論作出回應，蓄意制造事端；
5)羞辱：貶低他人的能力、行為、生理或身份特征，讓對方難堪；
6)謾罵：以不文明的語言對他人進行負面評價；
7)歧視：煽動人群歧視、地域歧視等，針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊；
8)威脅：許諾以不良的后果來迫使他人服從自己的意志；
3. 發(fā)布垃圾廣告信息：以推廣曝光為目的，發(fā)布影響用戶體驗、擾亂本網(wǎng)站秩序的內(nèi)容，或進行相關(guān)行為。主要表現(xiàn)為：
1)多次發(fā)布包含售賣產(chǎn)品、提供服務(wù)、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式：
2)單個帳號多次發(fā)布包含垃圾廣告的內(nèi)容；
3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容；
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容，如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等，誘騙用戶點擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當曝光；
6)購買或出售帳號之間虛假地互動，發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
7)發(fā)布包含欺騙性的惡意營銷內(nèi)容，如通過偽造經(jīng)歷、冒充他人等方式進行惡意營銷；
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息，主要表現(xiàn)為：
1)包含自己或他人性經(jīng)驗的細節(jié)描述或露骨的感受描述；
2)涉及色情段子、兩性笑話的低俗內(nèi)容；
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容；
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想；
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適；
6)炒作緋聞、丑聞、劣跡等；
7)宣揚低俗、庸俗、媚俗內(nèi)容。
5. 不實信息，主要表現(xiàn)為：
1)可能存在事實性錯誤或者造謠等內(nèi)容；
2)存在事實夸大、偽造虛假經(jīng)歷等誤導他人的內(nèi)容；
3)偽造身份、冒充他人，通過頭像、用戶名等個人信息暗示自己具有特定身份，或與特定機構(gòu)或個人存在關(guān)聯(lián)。
6. 傳播封建迷信，主要表現(xiàn)為：
1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治??；
2)求推薦算命看相大師；
3)針對具體風水等問題進行求助或咨詢；
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失，包括通過占卜方法問婚姻、前程、運勢，東西寵物丟了能不能找回、取名改名等；
7. 文章標題黨，主要表現(xiàn)為：
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導用戶；
2)內(nèi)容與標題之間存在嚴重不實或者原意扭曲；
3)使用夸張標題，內(nèi)容與標題嚴重不符的。
8.「飯圈」亂象行為，主要表現(xiàn)為：
1)誘導未成年人應援集資、高額消費、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點」、制造話題等形式干擾輿論，影響傳播秩序
9. 其他危害行為或內(nèi)容，主要表現(xiàn)為：
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導未成年人不良嗜好影響未成年人身心健康的；
2)不當評述自然災害、重大事故等災難的；
3)美化、粉飾侵略戰(zhàn)爭行為的；
4)法律、行政法規(guī)禁止，或可能對網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動發(fā)現(xiàn)和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當一個用戶發(fā)布違規(guī)內(nèi)容時，本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴重程度，對帳號進行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號，或者濫用多個帳號發(fā)布違規(guī)內(nèi)容時，本網(wǎng)站將加重處罰。
三、申訴
隨著平臺管理經(jīng)驗的不斷豐富，本網(wǎng)站出于維護本網(wǎng)站氛圍和秩序的目的，將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議，可以通過「建議反饋」功能向本網(wǎng)站進行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)