很可惜 T 。T 您現(xiàn)在還不是作者身份，不能自主發(fā)稿哦～
如有投稿需求，請把文章發(fā)送到郵箱tougao@appcpx.com，一經(jīng)錄用會有專人和您聯(lián)系
咨詢?nèi)绾纬蔀榇河鹱髡哒埪?lián)系：鳥哥筆記小羽毛（ngbjxym）
談到大數(shù)據(jù)，我們經(jīng)常會提到數(shù)據(jù)拉通。數(shù)據(jù)拉通是一個非?；镜趾荜P(guān)鍵的一個環(huán)節(jié)，在用戶畫像、CDP（客戶數(shù)據(jù)平臺）和數(shù)據(jù)中臺等應(yīng)用場景下時，數(shù)據(jù)拉通是大家普遍繞不開的一道關(guān)卡。那么，問題來了，什么是數(shù)據(jù)拉通？如何實現(xiàn)數(shù)據(jù)拉通呢？今天就來回答有關(guān)數(shù)據(jù)拉通的問題。
關(guān)于數(shù)據(jù)拉通，業(yè)內(nèi)并未有統(tǒng)一定義。這里，筆者根據(jù)自己的理解，認為數(shù)據(jù)拉通可分為兩種，即廣義的數(shù)據(jù)拉通和狹義的數(shù)據(jù)拉通：
所謂廣義的數(shù)據(jù)拉通是指按照一定的線索或口徑，采取相應(yīng)的方法，打破數(shù)據(jù)壁壘、消除數(shù)據(jù)隔閡，將原本分散的數(shù)據(jù)基于一定業(yè)務(wù)邏輯統(tǒng)一匯聚和拼接起來。簡單一句話就是將分散的數(shù)據(jù)統(tǒng)一匯聚和拼接起來，這里數(shù)據(jù)對應(yīng)的實體范圍比較寬泛，既包括某種設(shè)備，也包括用戶和某個物品等。
狹義的數(shù)據(jù)拉通則是指將原本分散的用戶數(shù)據(jù)統(tǒng)一匯聚和拼接起來，形成完整的用戶信息視圖的過程。狹義的數(shù)據(jù)拉通所指的實體一般僅限于用戶。本文重點討論的就是狹義的數(shù)據(jù)拉通。
不論是廣義還是狹義的數(shù)據(jù)拉通，數(shù)據(jù)的匯聚和拼接都是必不可少的動作。就如同老北京的冰糖葫蘆一樣，一根竹簽?zāi)軐讉€不同的糖葫蘆串在一起，而數(shù)據(jù)拉通要做的事情也是要將分散的數(shù)據(jù)用一根線貫穿和連接起來。這姑且稱之為數(shù)據(jù)拉通的“冰糖葫蘆論”吧。
企業(yè)在與用戶產(chǎn)生各種交互的過程中，會在不同渠道和觸點留下相應(yīng)的痕跡，然而這些數(shù)據(jù)往往都是按照不同的標識進行記錄的。ID（Identifier）是指用于識別用戶的標識符，在當前大數(shù)據(jù)的語境下，可以說一種ID實際上就對應(yīng)了一個條線的數(shù)據(jù)，而我們則是被各種ID所標識，我們的數(shù)據(jù)就散落在各種ID對應(yīng)的條線里。
事實上，各種條線是站在不同的角度來組織工作的，他們分別代表著不同的組織機構(gòu)和業(yè)務(wù)單元，有的是企業(yè)內(nèi)部的，有些是屬于企業(yè)外部的，他們之間往往存在著數(shù)據(jù)的隔閡。如果不將這些分散在不同條線的數(shù)據(jù)統(tǒng)一起來，企業(yè)在進行營銷和服務(wù)時，就會遇到各種問題和麻煩。概括起來，需要做數(shù)據(jù)拉通的理由主要來自于三個方面：
1、數(shù)據(jù)資產(chǎn)沉淀的需要
對于企業(yè)而言，當進入數(shù)字化轉(zhuǎn)型的戰(zhàn)場后，數(shù)據(jù)資產(chǎn)的戰(zhàn)略地位日益凸顯，對數(shù)據(jù)資產(chǎn)的集中管理和全面整合就成為必須，實現(xiàn)數(shù)據(jù)互連互通是建立各類大數(shù)據(jù)平臺的基礎(chǔ)，類似CDP平臺和數(shù)據(jù)中臺就是數(shù)據(jù)資產(chǎn)沉淀的利器。數(shù)據(jù)拉通能消除數(shù)據(jù)壁壘，減少信息不對稱，將分散的數(shù)據(jù)進行有序的串聯(lián)和拼接，對于企業(yè)長期進行數(shù)據(jù)資產(chǎn)經(jīng)營具有重要意義。
2、完善用戶畫像的需要
對于服務(wù)于C端用戶的企業(yè)而言，渠道的碎片化無疑增加了數(shù)字化營銷的難度。用戶在不同的渠道和觸點上隨機穿梭，想要在營銷策略上做到不重不漏實在太難，因此需要將用戶在不同渠道上的標識拉通，以此來識別同一用戶，從而消除數(shù)據(jù)孤島，建立更完整的用戶畫像。這樣既能對用戶的數(shù)據(jù)資產(chǎn)進行統(tǒng)一化規(guī)整，也能全方位對用戶旅程和行為模式進行深入洞察。
3、開展精細化運營的需要
數(shù)據(jù)拉通除了有利于企業(yè)的數(shù)據(jù)資產(chǎn)沉淀、建立更完善的用戶畫像外，還能在對用戶的精準營銷和個性化服務(wù)上發(fā)揮重要作用。在精準營銷方面，通過數(shù)據(jù)拉通，能從橫斷面全方位了解用戶在各個渠道和觸點上的活動軌跡與行為特征，據(jù)此在營銷策略制定時有助于營銷資源的合理分配，可以避免對同一用戶在不同渠道的重復(fù)營銷，減少不必要的資源浪費，還能消除營銷盲區(qū)，提高營銷資源的利用率；在個性化服務(wù)方面，數(shù)據(jù)拉通后可以輸出更完整的用戶畫像模型，企業(yè)可據(jù)此為某些用戶制定個性化的服務(wù)策略，提供更精準有效的服務(wù)，對于維系用戶、提升用戶忠誠度也是大有裨益的。
那么，到底有哪些方法可以實現(xiàn)數(shù)據(jù)拉通呢？常用的數(shù)據(jù)拉通方法，根據(jù)拉通的精準度可以分為兩大類：精準拉通和模糊拉通。其中，精準拉通又分為強ID直接拉通和第三方助力拉通，模糊拉通又分為基于行為關(guān)聯(lián)度的ID-Mapping、基于用戶興趣的聚類與合并。
所謂精準拉通是指通過相應(yīng)的技術(shù)手段實現(xiàn)數(shù)據(jù)拉通后能取得較高的準確率。而模糊拉通則是指通過一定的模型或算法識別兩個關(guān)聯(lián)ID的關(guān)聯(lián)概率，在此基礎(chǔ)上生成一個Super_ID實現(xiàn)了數(shù)據(jù)拉通，但用戶拉通錯誤的概率較高。以下對數(shù)據(jù)拉通的方法逐一做個介紹。
1、 強ID直接拉通
對用戶出現(xiàn)在不同觸點下的ID進行關(guān)聯(lián)，可形成一個用戶的統(tǒng)一ID視圖，進而得到一個全局性的Super_ID，以標識一個唯一的用戶，并由此建立Super_ID與其它ID的相互映射關(guān)系。如下圖所示，用戶的手機號和OpenID就是一種強ID，通過手機號和OpenID能將渠道1、渠道2和渠道3上的用戶數(shù)據(jù)貫穿起來，形成全局性Super_ID下的統(tǒng)一ID視圖。這種直接通過強ID實現(xiàn)數(shù)據(jù)拉通的方式對技術(shù)要求并不高，在了解清楚各數(shù)據(jù)源的字段結(jié)構(gòu)后，一般只需要做數(shù)據(jù)源的清洗、去重和關(guān)聯(lián)即可將其打通。
2、 第三方借力拉通
在某些情況下，光靠企業(yè)自身的數(shù)據(jù)是很難實現(xiàn)數(shù)據(jù)拉通的。例如，品牌主投放了大量的媒體廣告，產(chǎn)生了曝光和點擊數(shù)據(jù)，這些數(shù)據(jù)通過設(shè)備ID來標識用戶。在廣告投放的同時，品牌主在天貓、京東等電商平臺上收到了大量的訂單。品牌主可以從合作的媒體渠道那里得到廣告內(nèi)容與廣告位、曝光和點擊的數(shù)據(jù)，但是如果想進一步知曉哪些手機號碼的用戶在何種電商平臺產(chǎn)生了訂單，則還需要借助第三方電商平臺的數(shù)據(jù)才可獲得。品牌主一般不能同時具備設(shè)備ID和手機號的關(guān)聯(lián)關(guān)系，這種情況下想要拉通數(shù)據(jù)只能借助第三方的數(shù)據(jù)能力。
目前市場上倒是有一些提供第三方數(shù)據(jù)并幫助品牌主進行數(shù)據(jù)拉通的服務(wù)商，建議品牌主在考核該類服務(wù)商時既要看拉通率、準確率等技術(shù)指標，還要注重其數(shù)據(jù)服務(wù)的合規(guī)性。
3、 基于行為關(guān)聯(lián)度的ID-Mapping
在沒有充足的Mapping預(yù)算、第一方數(shù)據(jù)源只能拉通一定比例的ID且存在大量數(shù)據(jù)無法打通的情況下，可以考慮采用ID-Mapping的方式作為補充解決方案。
基于行為關(guān)聯(lián)度的ID-Mapping的基本原理是根據(jù)機器學習模型預(yù)測兩個或多個ID之間的關(guān)聯(lián)概率，關(guān)聯(lián)概率較高的ID則可默認其對應(yīng)一個用戶、生成一個Super_ID，這樣就能把關(guān)聯(lián)概率較高的ID下的數(shù)據(jù)進行拼接打通。如下圖所示，當ID1、 ID2 和ID3對應(yīng)的行為相似度非常高，都跟籃球高度相關(guān)、都與準備購買斯伯丁籃球有關(guān)聯(lián)，而且又是處于同一個IP地址之下，可以大概率認為三個ID對應(yīng)的是同一個人，可生成為一個Super_ID，將三個ID對應(yīng)的數(shù)據(jù)像糖葫蘆一樣串起來，從而實現(xiàn)數(shù)據(jù)的貫通。
以上只是基于行為關(guān)聯(lián)度做ID-Mapping的一個邏輯舉例，為提高判斷的準確度，可以繼續(xù)為模型添加更多的判斷維度，一般來說，納入的判斷維度越多、準確度就越高，但能夠關(guān)聯(lián)打通的數(shù)據(jù)比例就會下降。基于行為關(guān)聯(lián)度的ID-Mapping適用于對可信度要求不高的推薦類場景，即使識別錯誤影響也比較小。但對于電商的短信通知服務(wù)等，如果識別錯誤，那么導(dǎo)致的用戶體驗則會非常差。
4、 基于用戶興趣的聚類與合并
“物以類聚，人以群分”，基于用戶興趣可以做相似用戶的聚類和合并。例如：基于用戶的上網(wǎng)時間偏好、網(wǎng)址訪問偏好、點擊行為特征、瀏覽行為偏好、APP使用偏好、社交賬號偏好等，為每個用戶提取上千個特征之后，進行相似用戶的聚類。聚類中選擇類中心附近的用戶，再加上一些輔助準備進行判定，就可以把用戶合并起來。
一般說來，基于用戶興趣的聚類與合并可以大幅度降低ID總量，但出現(xiàn)數(shù)據(jù)拉通錯誤的概率可能較高。
以上四種方式各有優(yōu)缺點，綜合比較如下：
總之，精準拉通追求的是數(shù)據(jù)的準確性，而模糊拉通則更注重高合并和高去重，采用何種數(shù)據(jù)拉通方式，企業(yè)需要在追求合并和準確性之間進行平衡。
關(guān)于數(shù)據(jù)拉通需要注意的地方，簡單提示兩點：
1、 ID之間是多對多的關(guān)系
很多情況下，ID之間并不是一對一的關(guān)系。以最常用的手機號碼與設(shè)備號IMEI之間的對應(yīng)關(guān)系為例，手機號與IMEI是多對多的關(guān)系。比如：如果換了手機號但沒有換手機，則不同的手機號會對應(yīng)相同的IMEI號；如果換了手機，手機號碼沒有改變，則相同的手機號會對應(yīng)不同的IMEI號；如果再考慮一些異常情況，比如“羊毛黨”會用同一手機更換不同的手機號來獲取品牌主或平臺上的活動優(yōu)惠，這也會產(chǎn)生同樣的IMEI號對應(yīng)多個手機號碼的情況。有數(shù)據(jù)統(tǒng)計顯示，國內(nèi)手機號碼與IMEI號之間為一對一的比例大約在76%，也就是說對于品牌主來說可能會有24%的曝光機會被重復(fù)浪費了?；谑謾C號與IMEI號之間是這種對應(yīng)關(guān)系的情況，企業(yè)在做數(shù)字營銷時，應(yīng)當選取用戶最常用的設(shè)備進行曝光，這樣不僅可以保證實際觸達率，還能減少不必要的重復(fù)曝光。
2、 ID持久化有一定的時效性
對于企業(yè)來說，都是希望能延長用戶的生命周期，與用戶建立持久的聯(lián)系。然而，實際情況下，用戶的ID確實是不穩(wěn)定的。比如：Cookie ID 的有效期一般是1個月，IMEI有效期一般是1-2年。一些大數(shù)據(jù)公司也在試圖做一些用戶ID持久化的工作，比如在用戶設(shè)備中植入某個持久ID，這樣就可將改變后的ID關(guān)聯(lián)到持久ID下，從而維護一個穩(wěn)定的用戶關(guān)系，但是隨著安卓和蘋果操作系統(tǒng)對數(shù)據(jù)獲取的把控日趨嚴格，對非硬件廠商來說，ID持久化的難度也在加大。同時，ID都有一定時效性的事實也要求企業(yè)在做會員體系建設(shè)時要不定期的進行數(shù)據(jù)的更新和維護。
-END-
本文為作者獨立觀點，不代表鳥哥筆記立場，未經(jīng)允許不得轉(zhuǎn)載。
《鳥哥筆記版權(quán)及免責申明》 如對文章、圖片、字體等版權(quán)有疑問，請點擊 反饋舉報
上一篇
我們致力于提供一個高質(zhì)量內(nèi)容的交流平臺。為落實國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求，為完善跟帖評論自律管理，為了保護用戶創(chuàng)造的內(nèi)容、維護開放、真實、專業(yè)的平臺氛圍，我們團隊將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容，同時也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。
一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護法》等法律法規(guī)，對以下違法、不良信息或存在危害的行為進行處理。
1. 違反法律法規(guī)的信息，主要表現(xiàn)為：
1)反對憲法所確定的基本原則；
2)危害國家安全，泄露國家秘密，顛覆國家政權(quán)，破壞國家統(tǒng)一，損害國家榮譽和利益；
3)侮辱、濫用英烈形象，歪曲、丑化、褻瀆、否定英雄烈士事跡和精神，以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽、榮譽；
4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動；
5)煽動民族仇恨、民族歧視，破壞民族團結(jié)；
6)破壞國家宗教政策，宣揚邪教和封建迷信；
7)散布謠言，擾亂社會秩序，破壞社會穩(wěn)定；
8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪；
9)煽動非法集會、結(jié)社、游行、示威、聚眾擾亂社會秩序；
10)侮辱或者誹謗他人，侵害他人名譽、隱私和其他合法權(quán)益；
11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式，對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進行網(wǎng)絡(luò)欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法規(guī)禁止的其他內(nèi)容；
2. 不友善：不尊重用戶及其所貢獻內(nèi)容的信息或行為。主要表現(xiàn)為：
1)輕蔑：貶低、輕視他人及其勞動成果；
2)誹謗：捏造、散布虛假事實，損害他人名譽；
3)嘲諷：以比喻、夸張、侮辱性的手法對他人或其行為進行揭露或描述，以此來激怒他人；
4)挑釁：以不友好的方式激怒他人，意圖使對方對自己的言論作出回應(yīng)，蓄意制造事端；
5)羞辱：貶低他人的能力、行為、生理或身份特征，讓對方難堪；
6)謾罵：以不文明的語言對他人進行負面評價；
7)歧視：煽動人群歧視、地域歧視等，針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊；
8)威脅：許諾以不良的后果來迫使他人服從自己的意志；
3. 發(fā)布垃圾廣告信息：以推廣曝光為目的，發(fā)布影響用戶體驗、擾亂本網(wǎng)站秩序的內(nèi)容，或進行相關(guān)行為。主要表現(xiàn)為：
1)多次發(fā)布包含售賣產(chǎn)品、提供服務(wù)、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式：
2)單個帳號多次發(fā)布包含垃圾廣告的內(nèi)容；
3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容；
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容，如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等，誘騙用戶點擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當曝光；
6)購買或出售帳號之間虛假地互動，發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
7)發(fā)布包含欺騙性的惡意營銷內(nèi)容，如通過偽造經(jīng)歷、冒充他人等方式進行惡意營銷；
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息，主要表現(xiàn)為：
1)包含自己或他人性經(jīng)驗的細節(jié)描述或露骨的感受描述；
2)涉及色情段子、兩性笑話的低俗內(nèi)容；
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容；
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想；
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適；
6)炒作緋聞、丑聞、劣跡等；
7)宣揚低俗、庸俗、媚俗內(nèi)容。
5. 不實信息，主要表現(xiàn)為：
1)可能存在事實性錯誤或者造謠等內(nèi)容；
2)存在事實夸大、偽造虛假經(jīng)歷等誤導(dǎo)他人的內(nèi)容；
3)偽造身份、冒充他人，通過頭像、用戶名等個人信息暗示自己具有特定身份，或與特定機構(gòu)或個人存在關(guān)聯(lián)。
6. 傳播封建迷信，主要表現(xiàn)為：
1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治??；
2)求推薦算命看相大師；
3)針對具體風水等問題進行求助或咨詢；
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失，包括通過占卜方法問婚姻、前程、運勢，東西寵物丟了能不能找回、取名改名等；
7. 文章標題黨，主要表現(xiàn)為：
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導(dǎo)用戶；
2)內(nèi)容與標題之間存在嚴重不實或者原意扭曲；
3)使用夸張標題，內(nèi)容與標題嚴重不符的。
8.「飯圈」亂象行為，主要表現(xiàn)為：
1)誘導(dǎo)未成年人應(yīng)援集資、高額消費、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點」、制造話題等形式干擾輿論，影響傳播秩序
9. 其他危害行為或內(nèi)容，主要表現(xiàn)為：
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導(dǎo)未成年人不良嗜好影響未成年人身心健康的；
2)不當評述自然災(zāi)害、重大事故等災(zāi)難的；
3)美化、粉飾侵略戰(zhàn)爭行為的；
4)法律、行政法規(guī)禁止，或可能對網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動發(fā)現(xiàn)和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當一個用戶發(fā)布違規(guī)內(nèi)容時，本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴重程度，對帳號進行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號，或者濫用多個帳號發(fā)布違規(guī)內(nèi)容時，本網(wǎng)站將加重處罰。
三、申訴
隨著平臺管理經(jīng)驗的不斷豐富，本網(wǎng)站出于維護本網(wǎng)站氛圍和秩序的目的，將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議，可以通過「建議反饋」功能向本網(wǎng)站進行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)