埋點數(shù)據(jù)作為三大數(shù)據(jù)來源之一，具有應(yīng)用場景多、數(shù)據(jù)量級大等特點，上能影響數(shù)據(jù)分析、推薦、AB實驗的準確性，下能影響數(shù)倉結(jié)構(gòu)設(shè)計和維護成本，其重要性不言而喻。

一般公司在業(yè)務(wù)發(fā)展初期，業(yè)務(wù)線及參與協(xié)作的角色數(shù)量相對較少，通常采用在線文檔的形式來管理埋點，但隨著業(yè)務(wù)的快速發(fā)展，業(yè)務(wù)線的增加以及人員流動等因素，在線文檔的的弊端也日益顯現(xiàn)，急需一款一站式埋點管理工具，用來實現(xiàn)埋點全生命周期管理，規(guī)范埋點定義，沉淀組織過程資產(chǎn)，提升數(shù)據(jù)使用效率。我作為負責(zé)埋點管理項目的數(shù)據(jù)產(chǎn)品經(jīng)理，經(jīng)過對公司涉及埋點相關(guān)的角色，如產(chǎn)品經(jīng)理、開發(fā)人員、測試人員、設(shè)計師、分析師等進行深度調(diào)研，企圖了解其在工作中遇到的痛點和訴求。

對埋點數(shù)據(jù)使用者，如設(shè)計師、業(yè)務(wù)人員來說，他們遇到最大的困難是：在需要看某個數(shù)據(jù)時，通常不知道這個數(shù)據(jù)有沒有埋點？具體的埋點信息是什么？應(yīng)該去哪里看埋點數(shù)據(jù)？為什么這個埋點不能按照自定義參數(shù)篩選？

產(chǎn)品經(jīng)理遇到的問題主要有兩個：

開發(fā)人員說：現(xiàn)在的在線埋點文檔真是太亂了，閱讀體驗極差，沒有埋點變更信息記錄，有數(shù)據(jù)質(zhì)量問題時，數(shù)據(jù)溯源工作非常艱難。

測試人員：每次埋點測試都需要到數(shù)據(jù)庫去查，由于SDK上報時機的原因，往往不能即時看到數(shù)據(jù)，需要等一定時間，比較耗費時間，如果不會寫sql，那簡直是難上加難，有時候遇到大版本迭代，一次性上線的埋點比較多，測試工作量巨大。

數(shù)據(jù)產(chǎn)品經(jīng)理：業(yè)務(wù)經(jīng)常找我問這個數(shù)據(jù)有沒有埋點，埋點ID是什么？有哪些可以分析的維度？作為數(shù)據(jù)產(chǎn)品經(jīng)理，這個時候通常比較懵逼，因為埋點信息都是分散在各個業(yè)務(wù)產(chǎn)品經(jīng)理手上，大數(shù)據(jù)部門沒有埋點元數(shù)據(jù)。有時，業(yè)務(wù)人員突然發(fā)過來一個埋點ID問，這個埋點怎么沒數(shù)據(jù)，這個時候，產(chǎn)品經(jīng)理往往需要先對問題做個篩選，比如，當前埋點是什么時候上線的，是不是因為剛發(fā)版，新老版本過渡期，數(shù)據(jù)還沒報上來或者新版本流量較小，這時才發(fā)現(xiàn)，沒有相關(guān)記錄可以查。有時，上游業(yè)務(wù)系統(tǒng)發(fā)生變更，也不會通知下游，業(yè)務(wù)發(fā)現(xiàn)數(shù)據(jù)異常時，通常第一時間找數(shù)據(jù)產(chǎn)品經(jīng)理，如果數(shù)據(jù)產(chǎn)品經(jīng)理不知道上游埋點的變更，這時往往是一臉懵。

產(chǎn)品經(jīng)理的素養(yǎng)告訴我，遇到問題，一定要透過現(xiàn)象，洞察其背后的本質(zhì)。經(jīng)過深入的思考，我認為造成以上痛點的原因有三方面的因素，分別為規(guī)范的因素、人的因素、工具的因素。

規(guī)范因素，未建立明確的流程規(guī)范。

制度層面缺少統(tǒng)一的流程及操作要求：埋點從需求到上線的流程是怎樣的，埋點需求應(yīng)該在哪里創(chuàng)建，維護，埋點元數(shù)據(jù)應(yīng)該在哪里查詢等，在制度上沒有相關(guān)規(guī)定，有的業(yè)務(wù)產(chǎn)品經(jīng)理認為：埋點文檔不應(yīng)該給業(yè)務(wù)的人看，業(yè)務(wù)用數(shù)據(jù)時，找大數(shù)據(jù)部門就好了，不應(yīng)該找業(yè)務(wù)產(chǎn)品經(jīng)理要埋點信息?？僧斍暗默F(xiàn)實是埋點元數(shù)據(jù)散落在各業(yè)務(wù)產(chǎn)品經(jīng)理手上，數(shù)據(jù)產(chǎn)品經(jīng)理也不知道埋點元數(shù)據(jù)。這樣，用數(shù)據(jù)的人常常需要找多方溝通，才能拿到埋點信息，對業(yè)務(wù)來說，找數(shù)據(jù)極其困難。

埋點定義缺少統(tǒng)一標準和規(guī)范：比如對于自定義參數(shù)，有的開發(fā)以數(shù)組的形式存在一個字段里面，有的開發(fā)是將自定義參數(shù)存在分別上報到不同的字段里面，這種標準的不一致，不但會增加下游數(shù)據(jù)處理成本，也會對數(shù)據(jù)使用者造成一定的困惑，比如導(dǎo)致埋點數(shù)據(jù)不能通過自定以參數(shù)篩選。

特殊場景缺少規(guī)范指導(dǎo)：比如新版本增加了和已有埋點相同意義的埋點，是新增一個埋點ID還是用已有的埋點ID，增加參數(shù)區(qū)分所屬埋點事件的位置等等。

人的因素，未規(guī)范錄入信息。

只埋，不維護信息：當前大數(shù)據(jù)也提供了埋點錄入工具，但是業(yè)務(wù)產(chǎn)品往往只在在線文檔上維護埋點信息，只有用數(shù)據(jù)的時候才會來錄入，導(dǎo)致埋點信息不全；

信息錄入不完善：當前埋點管理平臺僅有部分埋點ID和名稱及所屬應(yīng)用，缺少埋點屬性、位置歸屬等信息，不能提供完整的埋點元數(shù)據(jù)供數(shù)據(jù)使用者，導(dǎo)致數(shù)據(jù)理解困難；

信息無人持續(xù)維護：埋點變更、下線等情況無人維護，也沒有通知下游進行影響評估，比如，某天業(yè)務(wù)突然找數(shù)據(jù)產(chǎn)品經(jīng)理反饋，當前的數(shù)據(jù)值和埋點元數(shù)據(jù)不一致，數(shù)據(jù)產(chǎn)品經(jīng)理需要去排查原因，有時候查了半天原因才發(fā)現(xiàn)是業(yè)務(wù)產(chǎn)品改版，所以變更了埋點導(dǎo)致了數(shù)據(jù)異常，但這種情況只有變更上線后才能發(fā)現(xiàn)，沒法在事情發(fā)現(xiàn)，進行影響評估，也沒法在事后通知相關(guān)方。

工具的因素，埋點管理工具還存在不足。

比如埋點位置結(jié)構(gòu)無統(tǒng)一維護，針對同樣的頁面，不同的產(chǎn)品經(jīng)理理解不一致，導(dǎo)致埋點歸屬混亂，就像圖書館的數(shù)沒有目錄和檢索系統(tǒng)一樣，找起來非常困難。

上面分析了在埋點管理方面遇到的痛點及其背后的原因，那如何系統(tǒng)化解決這些痛點呢？

第1步，建立規(guī)范埋點管理流程，定義清楚各方職責(zé)。

將埋點從需求到上線，分為四個大階段，分別為需求階段、埋點開發(fā)階段、埋點測試階段、埋點上線。埋點需求一般由業(yè)務(wù)方或者業(yè)務(wù)的產(chǎn)品經(jīng)理提出，業(yè)務(wù)產(chǎn)品經(jīng)理在埋點管理平臺定義好埋點需求后，進行需求評審，評審?fù)ㄟ^后，進入埋點開發(fā)階段，開發(fā)同學(xué)以埋點平臺的埋點文檔為基準，進行埋點代碼的開發(fā)；開發(fā)完成后，進入測試階段，測試同學(xué)以埋點管理平臺的埋點文檔為基準，進行埋點測試驗收；測試通過后，需要對埋點標記上線，這樣，埋點文檔就從需求變成可供業(yè)務(wù)方使用的埋點元數(shù)據(jù)。大數(shù)據(jù)中心在接受數(shù)據(jù)時，會對數(shù)據(jù)進行質(zhì)量校驗，對于質(zhì)量問題會通過郵件等方式推送給相關(guān)負責(zé)人去處理。各方的職責(zé)定義如下：

數(shù)據(jù)產(chǎn)品經(jīng)理：制定標準和規(guī)范，維護應(yīng)用信息和各SDK信息及采集規(guī)范；

業(yè)務(wù)產(chǎn)品經(jīng)理：錄入并維護埋點信息和各應(yīng)用的頁面層級信息；

開發(fā)人員：基于埋點文檔，開發(fā)埋點代碼；

測試人員：基于埋點文檔，開發(fā)埋點代碼。

第2步，統(tǒng)一并貫徹埋點標準

1、埋點歸屬的標準化：由數(shù)據(jù)產(chǎn)品經(jīng)理統(tǒng)一維護公司所有應(yīng)用信息，每個應(yīng)用指定一個業(yè)務(wù)產(chǎn)品經(jīng)理作為應(yīng)用負責(zé)人，應(yīng)用負責(zé)人負責(zé)維護應(yīng)用的頁面層級結(jié)構(gòu)，保證所有產(chǎn)品經(jīng)理共用一套標準；

2、自定義屬性上報方式標準化。

有的開發(fā)是將自定義參數(shù)全部以數(shù)組的形式上報到params字段里，有的是分別上報的param1~param5里面，超過5個時，全部上報到params里面。經(jīng)過和數(shù)據(jù)開發(fā)同學(xué)討論，決定新增param6~param15，自定義參數(shù)依次上報至param1~param15，自定義參數(shù)超過15個時，聯(lián)系數(shù)據(jù)產(chǎn)品經(jīng)理處理。數(shù)據(jù)格式的一致，有利于下游數(shù)據(jù)的處理加工。

3、埋點ID命名標準化和產(chǎn)品化

之前各業(yè)務(wù)線埋點ID的命名是最初的產(chǎn)品經(jīng)理制定的，各業(yè)務(wù)線規(guī)則也不一樣，后來的產(chǎn)品經(jīng)理一直沿用之前的標準，但隨著埋點數(shù)量的增加，埋點ID不夠用了，產(chǎn)品經(jīng)理在寫埋點文檔時，經(jīng)常要糾結(jié)如何命名才能和以前的埋點不重復(fù)，也沒有系統(tǒng)輔助校驗是否重復(fù)，在密密麻麻的在線文檔中查詢一遍，保證不重復(fù)，對產(chǎn)品經(jīng)理來說是一件繁瑣且枯燥無味的工作。經(jīng)過對各業(yè)務(wù)線現(xiàn)有規(guī)則的調(diào)研，本著簡單、易懂、不重復(fù)的原則，制定出各業(yè)務(wù)線通用的命名規(guī)則：

應(yīng)用標識_一級頁面_三位版本號_3位自增數(shù)字，如A1210001，A代表應(yīng)用標識，1代表頁面標識，210代表V2.1版本。

當產(chǎn)品經(jīng)理在埋點管理平臺錄入埋點基本信息，如位置歸屬信息、埋點名稱和類型后，系統(tǒng)會自動會按照規(guī)則自動生成埋點ID。

第3步，引入埋點管理工具

有了流程和標準規(guī)范，還需要有好用的工具去輔助落實標準和規(guī)范，因此我們決定引入埋點管理平臺，實現(xiàn)埋點全生命周期的管理。

需求階段，在埋點管理平臺創(chuàng)建埋點文檔，保證埋點定義的規(guī)范性、準確性；

埋點開發(fā)階段，提供自動生成埋點代碼的功能，提升埋點代碼開發(fā)效率；

埋點測試階段，提供輔助測試功能，提升測試工作效率；

數(shù)據(jù)校驗，校驗數(shù)據(jù)的準確性、一致性、完整性，保證埋點數(shù)據(jù)的質(zhì)量；

數(shù)據(jù)使用階段：提供友好的數(shù)據(jù)數(shù)據(jù)檢索方式和靈活豐富的分析工具，提升找數(shù)據(jù)、理解數(shù)據(jù)、用數(shù)據(jù)的效率，讓埋點數(shù)據(jù)真正被應(yīng)用起來，數(shù)據(jù)只有被應(yīng)用起來，才能發(fā)揮價值；

埋點下線：根據(jù)埋點的訪問情況等因素，推送出建議建議下線的埋點，經(jīng)影響評估后，針對可下線的埋點，作下線處理，避免數(shù)據(jù)只埋不用的問題。

埋點管理平臺是埋點全生命周期管理和團隊協(xié)作工具，提供埋點需求創(chuàng)建，輔助測試及開發(fā)、數(shù)據(jù)校驗、埋點元數(shù)據(jù)查詢、埋點數(shù)據(jù)分析、埋點下線等能力，解決埋點管理混亂，找數(shù)據(jù)難、理解數(shù)據(jù)難等問題。

產(chǎn)品的目標用戶有產(chǎn)品經(jīng)理、開發(fā)、測試、相關(guān)數(shù)據(jù)使用者。產(chǎn)品經(jīng)理負責(zé)維護埋點元數(shù)據(jù)，開發(fā)人員基于產(chǎn)品經(jīng)理創(chuàng)建的埋點文檔開發(fā)埋點代碼，測試人員測試驗收埋點并上線，數(shù)據(jù)使用者主要查找埋點元數(shù)據(jù)，做埋點數(shù)據(jù)分析。

主要功能模塊如下

應(yīng)用管理：

本模塊維護應(yīng)用及頁面層級劃分標準及基本信息。

屬性管理：

維護屬性（參數(shù)）信息，分為預(yù)置屬性和常用自定義屬性，預(yù)置屬性是提前預(yù)置到埋點SDK的屬性，如用戶ID、版本號等，自定義屬性是根據(jù)具體埋點需求產(chǎn)品經(jīng)理自己定義的屬性。

需求管理

本模塊負責(zé)埋點需求的管理，支持單個新增和按照模板批量導(dǎo)入，每個埋點均歸屬于唯一的埋點集、應(yīng)用、頁面。埋點集是同一批次上線的埋點的集合，相當于文件夾的作用，方便開發(fā)和測試閱讀埋點文檔。

事件管理

本模塊主要提供已上線埋點的檢索功能，提供樹形菜單的形式，方便用戶在不清楚埋單ID的場景下可按應(yīng)用逐級下鉆查找。埋點變更信息也會維護在這里

質(zhì)量監(jiān)控

本模塊支持配置監(jiān)控規(guī)則和郵件提醒，校驗接收到的數(shù)據(jù)和點元數(shù)據(jù)作對比，找出已接收到數(shù)據(jù)但沒埋點信息的事件或有埋點信息但未接受到數(shù)據(jù)的事件，推送給相關(guān)負責(zé)人處理。也會從數(shù)據(jù)量、數(shù)據(jù)波動等方面檢測的質(zhì)量，及時發(fā)現(xiàn)異常數(shù)據(jù)。

埋點校驗

本模塊主要作用是輔助測試人員進行埋點測試，提升其效率。

數(shù)據(jù)分析

本模塊主要是埋點相關(guān)的數(shù)據(jù)分的工具，比如概覽看板、用戶路徑分析、轉(zhuǎn)化漏斗分析、埋點數(shù)據(jù)查詢等，幫助數(shù)據(jù)使用者快速使用數(shù)據(jù)。

整個埋點管理平臺的建設(shè)是分三個階段進行，第一階段主要實現(xiàn)埋點歷史數(shù)據(jù)和流程的線上化，提升找數(shù)據(jù)、理解數(shù)據(jù)的效率，這是后續(xù)工作的基礎(chǔ)；第二階段主要從數(shù)據(jù)使用角度出發(fā)，提升數(shù)據(jù)使用效率和體驗，讓數(shù)據(jù)更好的發(fā)揮價值；第三階段，著力提升開發(fā)人員和測試人員的效率。

對公司來說，建設(shè)埋點管理平臺，實現(xiàn)埋點系統(tǒng)化管理是需要投入不少資源的，那這件事值不值得做呢？做好埋點管理有什么價值呢？

在我看來，建設(shè)埋點管理平臺的價值有三個方面，分別為：

1、沉淀數(shù)據(jù)資產(chǎn)和組織過程資產(chǎn)，降低找數(shù)據(jù)、理解數(shù)據(jù)，用數(shù)據(jù)的門檻

建設(shè)埋點管理平臺之前，埋點元數(shù)據(jù)散落在各個業(yè)務(wù)產(chǎn)品經(jīng)理手里，對數(shù)據(jù)使用者來說，每當用數(shù)據(jù)的時候經(jīng)常陷入找數(shù)據(jù)難、理解數(shù)據(jù)難的困境，那埋點管理平臺建成之后，所有業(yè)務(wù)線的埋點元數(shù)據(jù)均被維護在同一的平臺上，平臺提供多維檢索功能，讓數(shù)據(jù)使用者快速找到數(shù)據(jù)、理解數(shù)據(jù)，埋點變更等中間信息也會維護在埋點詳情里面，埋點的前世今生一路了然。

2、提升數(shù)據(jù)質(zhì)量，讓數(shù)據(jù)更好的發(fā)揮價值

通過數(shù)據(jù)可以讓我們能了解過去，知悉當下，預(yù)測未來，如同水電煤，深深影響著業(yè)務(wù)的決策，比如產(chǎn)品經(jīng)理、設(shè)計師主要依賴埋點數(shù)據(jù)指導(dǎo)產(chǎn)品設(shè)計方案，開發(fā)人員依賴埋點數(shù)據(jù)進行bug定位，業(yè)務(wù)的一些核心指標更是通過埋點數(shù)據(jù)計算而來。試想一下，如果我們提供給業(yè)務(wù)的數(shù)據(jù)是錯誤的，那極有可能基于數(shù)據(jù)得出錯誤的信息，從而導(dǎo)致錯誤的決策，數(shù)據(jù)也就失去了其價值。所以，保證埋點數(shù)據(jù)的高質(zhì)量是極其重要的事情。

3、提升研發(fā)、測試工作效率及團隊協(xié)作效率

對于大的版本迭代，有時候一次性上線多大上百個埋點，其對開發(fā)和測試人員來說，是極其大的體力活，這時候如果平臺可自動生成埋點代碼，開發(fā)人員只需要復(fù)制代碼插入到對應(yīng)位置就可，會極大節(jié)約人工。

標準規(guī)范是方向，工具是將標準規(guī)范產(chǎn)品化，關(guān)鍵需要人去執(zhí)行才能取得效果，所以，人是項目成敗的關(guān)鍵因素，但往往人也是最大的變量。埋點管理涉及到多個部門的協(xié)同，另外，現(xiàn)存歷史埋點也需要梳理后進行初始化，這些工作需要相關(guān)人員的密切配合，所以在項目立項時，數(shù)據(jù)產(chǎn)品經(jīng)理需要努力獲得上面的支持，能夠自上而下去推進，最好推動成立跨部門的項目小組，具體工作、責(zé)任落實到人，避免相關(guān)人員的不配合，導(dǎo)致項目流于形式。那如果爭取不到自上而下推動的機會該怎么辦呢？這個時候就需要Plan B了，可以先找到愿意配合的業(yè)務(wù)線和他們合作，解決他們的痛點，有一定成效后，再慢慢推廣到其他業(yè)務(wù)線。

1、千萬別忘記用戶。產(chǎn)品的誕生是為了滿足某種需求或者解決某類問題的，千萬不可閉門造車，悶頭設(shè)計產(chǎn)品，等上線時再面對最終用戶，一定要走出去，多和產(chǎn)品的目標用戶聊，深入挖掘他們的痛點，讓他們有參與感，獲得用戶的認可，尤其像埋點管理平臺這種內(nèi)部的工具性產(chǎn)品，產(chǎn)品誕生的時候，現(xiàn)有的用戶習(xí)慣已經(jīng)形成，比如產(chǎn)品經(jīng)理們已經(jīng)習(xí)慣使用在線文檔去維護埋點信息，如果沒有制度上的約束，如何讓他們換到新平臺上來呢，那就是過程中想辦法讓他們有強烈參與感，能把他們的一些想法融入到產(chǎn)品設(shè)計中，最終的產(chǎn)品方案獲得他們的認可后再推進落地，當然了，這個過程對數(shù)據(jù)產(chǎn)品經(jīng)理來說，是比較耗費精力的，但對產(chǎn)品經(jīng)理來說，自己的產(chǎn)品能獲得用戶的認可，被廣泛的使用，是一件有意義的事情；

2、在設(shè)計上，盡量考慮已有的用戶習(xí)慣，避免大范圍的改變用戶習(xí)慣，觸發(fā)用戶的抵觸情緒；

3、如果已有歷史產(chǎn)品的情況下，要考慮兼容性。