很可惜 T 。T 您現(xiàn)在還不是作者身份，不能自主發(fā)稿哦～
如有投稿需求，請把文章發(fā)送到郵箱tougao@appcpx.com，一經(jīng)錄用會有專人和您聯(lián)系
咨詢?nèi)绾纬蔀榇河鹱髡哒埪?lián)系：鳥哥筆記小羽毛（ngbjxym）
作者｜張錦波
大家好，我是張景波，來自于字節(jié)跳動的火山引擎金融行業(yè)，目前主要負(fù)責(zé)營銷云的解決方案。此前是在字節(jié)跳動的數(shù)據(jù)團(tuán)隊，是 AB 測試、智能發(fā)布、性能監(jiān)控等幾條產(chǎn)品線的產(chǎn)品負(fù)責(zé)人。今天非常榮幸能夠向大家分享，在我們字節(jié)跳動通過實(shí)驗去驅(qū)動增長和創(chuàng)新的方法論和一些思考。
在正式介紹方案之前，我先和大家分享一個發(fā)生在某個租車公司的真實(shí)故事。在部們里針對同一問題，會出有多套的方案，不同方案的負(fù)責(zé)人是“公說公有理，婆說婆有理”，爭執(zhí)不下，各執(zhí)己見。
比如，在上圖中這家租車公司，此時碰到的一個問題：如何提升整體的租車轉(zhuǎn)化率？而在押金和租金支付流程的設(shè)計上，運(yùn)營團(tuán)隊和產(chǎn)品團(tuán)隊就有了不同的意見。運(yùn)營負(fù)責(zé)人說，“租金和押金應(yīng)該放在同一個支付頁面，這樣的流程越短越好，如果操作步驟多了，會降低整體用戶使用意愿”。
這應(yīng)該是一個運(yùn)營的常識，產(chǎn)品人員不太同意，產(chǎn)品負(fù)責(zé)人說：“應(yīng)該先付租金再付押金，應(yīng)該是兩個頁面才更為合理，不然同時要支付很多錢，會給用戶帶來決策上比較大的壓力”。接著，運(yùn)營負(fù)責(zé)人又反駁說：“多一步的操作就多一份流失風(fēng)險，數(shù)據(jù)跌了你是無法負(fù)責(zé)的”。這個時候已經(jīng)是有一定的火藥味了。然后產(chǎn)品負(fù)責(zé)人也不甘示弱，他說：“我做過非常多的用戶調(diào)查，多少用戶都卡在了支付頁面，分成兩個頁面，才更容易降低用戶對用車成本的焦慮和他的心理負(fù)擔(dān)”。
最后，他們 battle 幾輪下來還是沒有定論，于是把這個“球”都拋給了老板。兩個人說的似乎都很有道理，這就給他們的老板出了一個很大的難題。
其實(shí)，上面這個場景暴露了幾個問題。第一個就是從員工的角度，我們?nèi)绾文軌蛴欣碛袚?jù)，不急不躁，很優(yōu)雅的"撕逼"，而且還不用撕破臉。同時，如何還能夠有理有節(jié)，不卑不亢地去說服我們的老板，還不用軟磨硬泡。那從老板的角度，其實(shí)有很多顧慮，比如說他如何能夠不偏不倚的去合理決策，這些問題其實(shí)都讓人頭禿。
那怎么辦呢？我們來看看字節(jié)跳動是怎么應(yīng)對這樣的問題的。節(jié)跳動旗下有很多大家耳熟能詳?shù)?App ，基本是圍繞著信息分發(fā)的產(chǎn)品定位。人類獲取信息的過程，其實(shí)本質(zhì)上就是一個消除不確定性的過程，或者說是一個信息熵減的過程。
回顧字節(jié)跳動做信息分發(fā)的歷史，從最初的做圖文分發(fā)的今日頭條，到2016 -2017 年抖音和 TikTok 橫空出世。這時候有視頻、有畫面、有聲音，開始通過短視頻的方式去跨國界的提升整個知識傳導(dǎo)的效率。后續(xù)又隨著整體的互聯(lián)網(wǎng)，原住民“Z時代”的興起，發(fā)現(xiàn)單向的信息分發(fā)已經(jīng)不能滿足我們用戶日趨強(qiáng)烈的交流訴求了，后續(xù)又逐步的升級迭代成為雙向信息互動的直播模式，電商、直播帶貨用的就是這樣一套玩法。
在不斷的創(chuàng)新迭代的過程當(dāng)中，字節(jié)跳動一直都在高度的關(guān)注著整個產(chǎn)品傳遞信息的一個密度，持續(xù)的探索和更新更高效的信息分發(fā)方式。其中最核心的一個理念就是通過數(shù)據(jù)去驅(qū)動創(chuàng)新、驅(qū)動增長，然后驅(qū)動營銷。而 AB 測試就是這一理念的方法論和工具的載體。
字節(jié)跳動身上有很多的標(biāo)簽，大家經(jīng)常聽到的是 app 工廠、很善于做增長 、OKR、 字節(jié)范兒等等，其實(shí)它身上還有一個非常重磅的標(biāo)簽，就是 AB 測試，字節(jié)跳動就是一個 AB 測試的大廠。它把AB測試用到非常極致，有多極致呢？比如，“今日頭條”這個名字都不是產(chǎn)品經(jīng)理或者業(yè)務(wù)負(fù)責(zé)人拍腦袋、經(jīng)驗主義得出來的，它就是基于 AB 測試得到的。我們是通過在應(yīng)用市場上架了不同的應(yīng)用包的候選名稱，來觀測哪一個下載率和分享率是最高的，來最終敲定用那個名字。我們把產(chǎn)品名字的決策權(quán)交給了用戶，抖音和西瓜的名字也是這么“測”出來的。
AB 測試?yán)砟钍翘幱谧止?jié)跳動整個企業(yè)文化和基因當(dāng)中的，上至中高層的管理者，下至一線的產(chǎn)品和運(yùn)營人員，大家統(tǒng)一的共識就是 AB 測試是一切決策的前提和基礎(chǔ)。公司內(nèi)部的 AB 測試平臺是從 2016 年底的時候開始建設(shè)，迄今為止已經(jīng)累積了 80 多萬個實(shí)驗。這個數(shù)字我在 2019 年底統(tǒng)計的時候還是 30 萬個，短短的一年半的時間就翻了一倍?，F(xiàn)在每一天新增的實(shí)驗就有 1500 個，同時也服務(wù)了 500 多條業(yè)務(wù)線，在線運(yùn)行有上萬個實(shí)驗。
大家可以想象一下，同時運(yùn)行著那么多款日活都過億的 App ，單單是抖音的 DAU 就已經(jīng)過 6 億了。支撐這么大流量，后端分流服務(wù)的吞吐率和響應(yīng)性能是非常強(qiáng)大的。我們除了在技術(shù)上和產(chǎn)品形態(tài)上的持續(xù)打磨之外，在數(shù)年的產(chǎn)品高速增長迭代的過程中，也沉淀了海量的關(guān)于AB實(shí)驗的最佳實(shí)踐和方法論。
從一個交互按鈕顏色的變化，或者是一條站外推送的文案，再到內(nèi)部的運(yùn)營和公域上的這種營銷的策略，甚至是模型算法的優(yōu)化探索和你的產(chǎn)品功能迭代，再到整個底層的技術(shù)架構(gòu)的升級，其實(shí)都會去做 AB 實(shí)驗。也因此在字節(jié)跳動有一句話叫做“AB 實(shí)驗，是一種信仰，萬物皆可試驗”。
給大家再來分享一個我們的私域的增長全矩陣地圖，可以看到AB 實(shí)驗在其中發(fā)揮什么樣的價值。最頂層就是目標(biāo)：提升整個 App 的活躍度。我們可以把它拆分成為左邊的“自然訪問”和右邊的“運(yùn)營訪問”。
“自然訪問”指的是出于一個內(nèi)在的需求，我們的用戶主動的打開 App 的行為，并非是我們干預(yù)的，就仿佛是“你若盛開清風(fēng)自來”的那種感覺。這里如果我們要提升自然訪問，首先就是要提供功能完備、體驗流暢，且界面優(yōu)美的產(chǎn)品。但是光有這些可能還不夠，畢竟在某些 C 端的垂直領(lǐng)域已經(jīng)是紅海狀態(tài)，競爭對手都各出奇招。所以，你的產(chǎn)品還是要有更多有趣的靈魂，比如說一些促活的福利或者是權(quán)益，甚至是一些互動的小巧思，比如簽到積分、任務(wù)激勵、虛擬形象等等，這些有創(chuàng)意的小玩法。
“運(yùn)營訪問”指的是用戶受到了外界條件的觸發(fā)（被動狀態(tài)），這其中就結(jié)合了我們營銷推送的自動化平臺來去提升用戶打開某個 App 的欲望。營銷的本質(zhì)就是給合適的人，在合適的時機(jī)，通過合適的渠道，推送合適的內(nèi)容、權(quán)益或者產(chǎn)品的過程。而在這個過程中的每一個環(huán)節(jié)都可以進(jìn)行 AB 實(shí)驗。
那么在方法論層面，我們又拆分成了兩個比較大的方向。左邊的是 ROI 最大化，也叫做價值最大化；右邊的是規(guī)模最大化。“價值最大化”體現(xiàn)了 App 具有良性的、健康的商業(yè)盈利模式的，保證可持續(xù)發(fā)展；“規(guī)模最大化”提供了持續(xù)的流量。如果要滿足以上這些方法和策略落地，是需要一整套或一系列的工具底座和能力板塊的，包括從數(shù)據(jù)的埋點(diǎn)、采集、傳輸、上報，然后再到自動化的去構(gòu)建數(shù)據(jù)主題集市等。
在上層部分，我們也提供了三大能力板塊（偏 SaaS 端），一是分析能力，二是增長能力，三是建模能力。今天向大家去重點(diǎn)介紹的 AB 測試，包括其中的智能發(fā)布和推送運(yùn)營等內(nèi)容，就是為實(shí)現(xiàn)增長能力提供了相關(guān)的工具。
接下來，我們先通過案例來說明字節(jié)跳動是如何通過實(shí)驗來提升“自然訪問”指標(biāo)的。我們主要是以下兩點(diǎn)：第一，是通過功能的快速迭代做優(yōu)化實(shí)驗，爭取每次都進(jìn)步一點(diǎn)點(diǎn)，這樣就可以很快速地找到產(chǎn)品和市場的契合點(diǎn) (PMF)，驗證我們整體的價值主張。第二，通過這種信息流推薦的實(shí)驗去持續(xù)不斷的優(yōu)化內(nèi)容推送的算法模型，提升整體的用戶體驗，增強(qiáng)用戶的粘性和忠誠度。通過這樣整體優(yōu)化迭代的功能實(shí)驗和內(nèi)容推薦的算法優(yōu)化實(shí)驗，實(shí)現(xiàn)了 1 加 1 遠(yuǎn)大于 2 的一個效應(yīng)。
我給大家分享一個字節(jié)跳動內(nèi)部提升自然訪問的一個案例，是海外的一款短視頻的App 。我們的產(chǎn)品經(jīng)理在拆分新老用戶維度分析留存的時候就發(fā)現(xiàn)，新用戶留存曲線下降的是非常明顯的，這說明很多的新用戶他沒有找到剛剛激活應(yīng)用后的那個 “aha時刻”。（“aha時刻” 指的是用戶在使用一款 App 發(fā)出驚嘆的時刻，意味著這個時候用戶發(fā)現(xiàn)了這款產(chǎn)品帶給他的一個核心價值，也說明我們的用戶已經(jīng)開始和我們的 App 建立起了一個情感的連接， AB 測試就是幫助我們找到這個激發(fā)“aha時刻” 的關(guān)鍵行為）對于這樣一款短視頻 App ，我們的產(chǎn)品經(jīng)理希望能通過“上劃”這個關(guān)鍵行為去引導(dǎo)不同階段的用戶觀看更多的視頻，這樣就可以積累更多的用戶行為數(shù)據(jù)，進(jìn)一步的分析用戶的興趣偏好，從而優(yōu)化我們內(nèi)容推薦策略的算法模型，幫助用戶盡快的迎來他的 “aha時刻”時刻。
但是，由于最開始的時候視頻里是完全靜態(tài)式的引導(dǎo)樣式，展現(xiàn)的時間是比較短的，整體上也并沒有什么呈現(xiàn)出非常明顯的提示上滑的效果，用戶可能不太知道怎么能夠看到更多的視頻，在錯誤操作幾次之后基本上就流失了。所以產(chǎn)品經(jīng)理給是要重新設(shè)計了上劃引導(dǎo)的這個策略，他開啟的第一輪的實(shí)驗是將視頻變成了一個半動態(tài)式的引導(dǎo)的樣式。
雖然，這種形式看起來非常簡潔的，我個人也是非常喜歡這樣的設(shè)計，但是它實(shí)驗運(yùn)行了一個月之后，我們發(fā)現(xiàn)效果并不是特別好，上劃操作的滲透率下降了1%，錯誤操作的滲透率也上升了，不符合預(yù)期，在這過程中，新用戶的留存也沒有見到一個顯著的上升。
然而，我們的產(chǎn)品經(jīng)理同學(xué)鍥而不舍，又進(jìn)行了第二輪的這個實(shí)驗。從第一輪的半動態(tài)式的引導(dǎo)樣式又進(jìn)一步的進(jìn)化和迭代，成為一個全動態(tài)式的引導(dǎo)樣式，這樣用戶就會更容易理解如何通過上劃看到更多的視頻。我們在運(yùn)行了一個月之后發(fā)現(xiàn)，這次上劃操作的滲透率非常好，上升了1.5%，而且整個新用戶的 7日內(nèi)留存也提升了 1% 到 1.8% ，這個指標(biāo)效果都是非常顯著的。最后上線了新的全動態(tài)式的引導(dǎo)樣式。
然后，我們還沒有停止探索的腳步。數(shù)據(jù)分析師經(jīng)過多維度的下拆，發(fā)現(xiàn)貢獻(xiàn)了我們整個留存和滲透率提升的主要群體是來自于一線的發(fā)達(dá)地區(qū)，主要是因為發(fā)達(dá)地區(qū)的用戶日常的工作節(jié)奏相對比較快，當(dāng)他們一開始面臨靜態(tài)式或半動態(tài)式的引導(dǎo)樣式時，無法很快的了解到怎么才能看到更多視頻，他們就會很容易喪失耐心，沒有動力去繼續(xù)探索更多的玩法。所以他們屬于在該層面上對于我們這個新策略最敏感的一類人群。
這件事情也應(yīng)證了一句話，“頂級的產(chǎn)品經(jīng)理也只能跑贏一半的 AB 測試”。確實(shí)是這樣的，要通過 AB 測試持續(xù)不斷的去驗證我們提出的實(shí)驗假設(shè)的科學(xué)性和正確性。
-END-
本文為作者獨(dú)立觀點(diǎn)，不代表鳥哥筆記立場，未經(jīng)允許不得轉(zhuǎn)載。
《鳥哥筆記版權(quán)及免責(zé)申明》 如對文章、圖片、字體等版權(quán)有疑問，請點(diǎn)擊 反饋舉報
我們致力于提供一個高質(zhì)量內(nèi)容的交流平臺。為落實(shí)國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求，為完善跟帖評論自律管理，為了保護(hù)用戶創(chuàng)造的內(nèi)容、維護(hù)開放、真實(shí)、專業(yè)的平臺氛圍，我們團(tuán)隊將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進(jìn)行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容，同時也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。
一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護(hù)法》等法律法規(guī)，對以下違法、不良信息或存在危害的行為進(jìn)行處理。
1. 違反法律法規(guī)的信息，主要表現(xiàn)為：
1)反對憲法所確定的基本原則；
2)危害國家安全，泄露國家秘密，顛覆國家政權(quán)，破壞國家統(tǒng)一，損害國家榮譽(yù)和利益；
3)侮辱、濫用英烈形象，歪曲、丑化、褻瀆、否定英雄烈士事跡和精神，以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽(yù)、榮譽(yù)；
4)宣揚(yáng)恐怖主義、極端主義或者煽動實(shí)施恐怖活動、極端主義活動；
5)煽動民族仇恨、民族歧視，破壞民族團(tuán)結(jié)；
6)破壞國家宗教政策，宣揚(yáng)邪教和封建迷信；
7)散布謠言，擾亂社會秩序，破壞社會穩(wěn)定；
8)宣揚(yáng)淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪；
9)煽動非法集會、結(jié)社、游行、示威、聚眾擾亂社會秩序；
10)侮辱或者誹謗他人，侵害他人名譽(yù)、隱私和其他合法權(quán)益；
11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式，對未成年人實(shí)施侮辱、誹謗、威脅或者惡意損害未成年人形象進(jìn)行網(wǎng)絡(luò)欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法規(guī)禁止的其他內(nèi)容；
2. 不友善：不尊重用戶及其所貢獻(xiàn)內(nèi)容的信息或行為。主要表現(xiàn)為：
1)輕蔑：貶低、輕視他人及其勞動成果；
2)誹謗：捏造、散布虛假事實(shí)，損害他人名譽(yù)；
3)嘲諷：以比喻、夸張、侮辱性的手法對他人或其行為進(jìn)行揭露或描述，以此來激怒他人；
4)挑釁：以不友好的方式激怒他人，意圖使對方對自己的言論作出回應(yīng)，蓄意制造事端；
5)羞辱：貶低他人的能力、行為、生理或身份特征，讓對方難堪；
6)謾罵：以不文明的語言對他人進(jìn)行負(fù)面評價；
7)歧視：煽動人群歧視、地域歧視等，針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊；
8)威脅：許諾以不良的后果來迫使他人服從自己的意志；
3. 發(fā)布垃圾廣告信息：以推廣曝光為目的，發(fā)布影響用戶體驗、擾亂本網(wǎng)站秩序的內(nèi)容，或進(jìn)行相關(guān)行為。主要表現(xiàn)為：
1)多次發(fā)布包含售賣產(chǎn)品、提供服務(wù)、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式：
2)單個帳號多次發(fā)布包含垃圾廣告的內(nèi)容；
3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容；
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容，如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等，誘騙用戶點(diǎn)擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當(dāng)曝光；
6)購買或出售帳號之間虛假地互動，發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
7)發(fā)布包含欺騙性的惡意營銷內(nèi)容，如通過偽造經(jīng)歷、冒充他人等方式進(jìn)行惡意營銷；
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息，主要表現(xiàn)為：
1)包含自己或他人性經(jīng)驗的細(xì)節(jié)描述或露骨的感受描述；
2)涉及色情段子、兩性笑話的低俗內(nèi)容；
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容；
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想；
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適；
6)炒作緋聞、丑聞、劣跡等；
7)宣揚(yáng)低俗、庸俗、媚俗內(nèi)容。
5. 不實(shí)信息，主要表現(xiàn)為：
1)可能存在事實(shí)性錯誤或者造謠等內(nèi)容；
2)存在事實(shí)夸大、偽造虛假經(jīng)歷等誤導(dǎo)他人的內(nèi)容；
3)偽造身份、冒充他人，通過頭像、用戶名等個人信息暗示自己具有特定身份，或與特定機(jī)構(gòu)或個人存在關(guān)聯(lián)。
6. 傳播封建迷信，主要表現(xiàn)為：
1)找人算命、測字、占卜、解夢、化解厄運(yùn)、使用迷信方式治??；
2)求推薦算命看相大師；
3)針對具體風(fēng)水等問題進(jìn)行求助或咨詢；
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失，包括通過占卜方法問婚姻、前程、運(yùn)勢，東西寵物丟了能不能找回、取名改名等；
7. 文章標(biāo)題黨，主要表現(xiàn)為：
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導(dǎo)用戶；
2)內(nèi)容與標(biāo)題之間存在嚴(yán)重不實(shí)或者原意扭曲；
3)使用夸張標(biāo)題，內(nèi)容與標(biāo)題嚴(yán)重不符的。
8.「飯圈」亂象行為，主要表現(xiàn)為：
1)誘導(dǎo)未成年人應(yīng)援集資、高額消費(fèi)、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點(diǎn)」、制造話題等形式干擾輿論，影響傳播秩序
9. 其他危害行為或內(nèi)容，主要表現(xiàn)為：
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導(dǎo)未成年人不良嗜好影響未成年人身心健康的；
2)不當(dāng)評述自然災(zāi)害、重大事故等災(zāi)難的；
3)美化、粉飾侵略戰(zhàn)爭行為的；
4)法律、行政法規(guī)禁止，或可能對網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動發(fā)現(xiàn)和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當(dāng)一個用戶發(fā)布違規(guī)內(nèi)容時，本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴(yán)重程度，對帳號進(jìn)行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當(dāng)涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號，或者濫用多個帳號發(fā)布違規(guī)內(nèi)容時，本網(wǎng)站將加重處罰。
三、申訴
隨著平臺管理經(jīng)驗的不斷豐富，本網(wǎng)站出于維護(hù)本網(wǎng)站氛圍和秩序的目的，將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議，可以通過「建議反饋」功能向本網(wǎng)站進(jìn)行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)