很可惜 T 。T 您現(xiàn)在還不是作者身份，不能自主發(fā)稿哦～
如有投稿需求，請把文章發(fā)送到郵箱tougao@appcpx.com，一經(jīng)錄用會有專人和您聯(lián)系
咨詢?nèi)绾纬蔀榇河鹱髡哒埪?lián)系：鳥哥筆記小羽毛（ngbjxym）
增長工作中，AB測試可以說是被奉為圭臬的方法，也是產(chǎn)品/運營同學(xué)們信手拈來的工具。工作對AB測試接觸使用較多，但也有了更多的經(jīng)驗教訓(xùn)以及學(xué)習(xí)思考。
這次分享5個實際使用AB測試中的關(guān)鍵事項，一起來交流避坑。
AB測試中，對照組和實驗組的樣本量越大，實驗時間越長，實驗結(jié)果就更加準(zhǔn)確。
這可以說是常識性的判斷，但是實際上這是由統(tǒng)計顯著性決定的：
統(tǒng)計顯著性是指對照組和實驗組的數(shù)據(jù)差異有多大可能是真實存在的，而不是隨機(jī)誤差導(dǎo)致的。
所以周期更久、樣本量更多的AB測試更有說服力，但是實際工作中，產(chǎn)品或活動的迭代速度快，這就要求AB測試的實驗周期不能過長，所以在AB測試前對樣本規(guī)模進(jìn)行預(yù)估至關(guān)重要。
計算樣本量的方法有些復(fù)雜，對于丟棄高數(shù)、概率論多年的打工人來說，還是建議求助于數(shù)據(jù)分析同學(xué)。推薦一個在線樣本預(yù)估計算器：https://www.eyeofcloud.com/124.html
在這個樣本數(shù)量計算器中，輸入原始版本轉(zhuǎn)化率（已知），再輸入優(yōu)化版本的轉(zhuǎn)化率（預(yù)期），同時設(shè)置統(tǒng)計顯著性水平，一般達(dá)到95%以上即是顯著差異。這樣就可以快速得到一個樣本數(shù)量結(jié)果。
如上圖，如果原始版轉(zhuǎn)化率是10%，優(yōu)化的新版本轉(zhuǎn)化率預(yù)期是12%，在進(jìn)行AB測試時，每組用戶樣本數(shù)據(jù)達(dá)到2900以上時，才能說明這個新版本轉(zhuǎn)化率的是顯著差異，是可信的。
在計算完預(yù)估的樣本數(shù)量之后，還有一個重要工作就是預(yù)估實驗周期。
如果可信的AB測試每組實驗需要2900個樣本量，但是我們的產(chǎn)品每天只有200的日活用戶，分成兩組后每組只有100用戶，則2900/100=29天，意味著AB測試實驗需要29天后才可達(dá)到需要的樣本量。
這個時候就要評估這個周期是否是可接受的，如果周期過長，則說明這個AB測試在現(xiàn)階段進(jìn)行是不合適的。
樣本規(guī)模預(yù)估是在AB測試前進(jìn)行，因為優(yōu)化版本的轉(zhuǎn)化數(shù)據(jù)是預(yù)估的，所以樣本量和實驗周期都是預(yù)估數(shù)據(jù)，幫助我們在AB測試前對測試樣本和周期有個初步判斷。
在實際的AB測試實驗結(jié)束后，我們還需要對實際的結(jié)果數(shù)據(jù)進(jìn)行統(tǒng)計顯著性檢驗，保證對照組和實驗組的數(shù)據(jù)差異是顯著可信的。同樣有一個在線工具：https://www.eyeofcloud.com/126.html
在這個工具中，我們輸入AB兩組的實際數(shù)據(jù)，就可以清楚看到兩者轉(zhuǎn)化率的差異，以及試驗結(jié)果的統(tǒng)計顯著性結(jié)果。
以上圖為例，雖然B組的轉(zhuǎn)化率比A組高，但是因為樣本量較小，試驗結(jié)果沒有達(dá)到顯著的統(tǒng)計學(xué)差異，所以我們不能得出B組優(yōu)化比A組更好的結(jié)論。
這個時候有兩種選擇，一是繼續(xù)實驗，積累更多的實驗數(shù)據(jù)后進(jìn)行分析，二是放棄實驗，得出此次優(yōu)化沒有明顯提升的結(jié)論。
也不是說繼續(xù)實驗一定會得出顯著性差異，如果樣本量繼續(xù)增大，但是轉(zhuǎn)化率差異減小，就意味著需要更多的樣本量，這種情況往往說明兩個版本的差異確實不大，但是也需要根據(jù)實際情況判斷是否需要停止AB測試。
在進(jìn)行AB測試時，一般情況下會有一個核心指標(biāo)來判斷實驗結(jié)果，同時會有一些支持或輔助指標(biāo)來更好地監(jiān)測實驗和分析結(jié)果。但是不能忽略的是一些反向指標(biāo)。
什么是反向指標(biāo)？反向指標(biāo)就是AB測試實驗中可能會負(fù)面影響的指標(biāo)。
舉一個簡單的例子：
AB實驗為了提升新用戶注冊率，于是在新版本中過度包裝了新人權(quán)益，雖然提升了新用戶注冊率，但是因為用戶預(yù)期管理不足，新用戶注冊后發(fā)現(xiàn)實際的新人權(quán)益大打折扣，對產(chǎn)品產(chǎn)生不滿的情緒，導(dǎo)致新用戶首單轉(zhuǎn)化率降低。
新用戶首單轉(zhuǎn)化率在這個實驗中就是一個值得關(guān)注的反向指標(biāo)。
AB測試為了實驗的速度和效果，往往會關(guān)注少部分關(guān)鍵流程節(jié)點和核心指標(biāo)，但是忽略反向指標(biāo)，卻有得不償失的風(fēng)險。
辛普森悖論是指：某些條件下的兩組數(shù)據(jù)，分別討論時都會滿足某種性質(zhì)，可是一旦合并考慮，卻可能導(dǎo)致相反的結(jié)論。這個理論由英國統(tǒng)計學(xué)家辛普森提出。
還是舉一個簡單的例子，在對新用戶首購流程的AB測試實驗中：
首日，A組轉(zhuǎn)化率是10%（10/100），B組轉(zhuǎn)化率是12%（120/1000）；
次日，A組轉(zhuǎn)化率是15%（150/1000），B組轉(zhuǎn)化率是16%（160/1000）；
兩日分別看，B組的轉(zhuǎn)化率都高于A組。
但是合計起來看，A組轉(zhuǎn)化率是14.5%（160/1100），B組轉(zhuǎn)化率14%（280/2000）；
這樣合計數(shù)據(jù)A組的轉(zhuǎn)化率卻高于B組。所以在分析時就無法直接判斷實驗結(jié)果。
辛普森悖論的存在，對AB測試提出了更多的要求，用戶樣本的合理選擇、樣本量的監(jiān)控調(diào)整、全面的數(shù)據(jù)分析等。
例子中導(dǎo)致分日和合計數(shù)據(jù)結(jié)論相反的原因就是首日A組和B組樣本量差別較大。
對于大體量的產(chǎn)品和完善的增長團(tuán)隊，會存在多個AB測試同時進(jìn)行的情況，這就需要考慮分層實驗。
分層實驗是指，將多個實驗建立起分層結(jié)構(gòu)，每一層實驗使用過的流量，下一層的實驗可以繼續(xù)用。有些不是很好理解，繼續(xù)舉個例子：
以電商產(chǎn)品的新人流程為例，新用戶下載打開APP后，首頁有新人禮包的入口，點擊進(jìn)入后可以查看新人權(quán)益和優(yōu)惠商品，新用戶查看新人商品后完成下單，這就是新用戶轉(zhuǎn)化的基本路徑。
為了優(yōu)化現(xiàn)有的新人轉(zhuǎn)化流程，從新人禮包的首頁展示、落地頁展示、新人商品詳情頁同時進(jìn)行了多個AB實驗。
在首頁展示上，同時進(jìn)行了按鈕顏色和引導(dǎo)文案的AB實驗，為了保證變量的唯一性，按鈕顏色實驗中，包括文案等其他內(nèi)容完全是一致的，文案實驗中，包括按鈕顏色等其他內(nèi)容也是完全一致的。這就需要把100%的流量分成2部分，假設(shè)為各50%，即50%用戶進(jìn)行按鈕顏色實驗（25%看到紅色按鈕，25%看到黃色按鈕，兩組文案一致），其余50%用戶進(jìn)行文案實驗（25%看到“領(lǐng)取權(quán)益”文案，25%看到“1元下單”文案，兩組按鈕顏色一致）。
進(jìn)入到新人頁面之后，對權(quán)益展示的方式又進(jìn)行了AB實驗，從第一層（首頁）來的流量（100%）都進(jìn)行權(quán)益展示的AB實驗，來自第一層100%的流量剛進(jìn)行了按鈕顏色和文案的實驗，為了避免上層實驗對權(quán)益展示實驗的影響，從上層來的流量要隨機(jī)分配到權(quán)益展示實驗的AB兩組，這就是分層實驗中的流量正交，均勻分配上層流量。
分層實驗在實際工作中不多見，但是成熟的產(chǎn)品必須要考慮這種情況的存在，才能更高效地更科學(xué)的同時進(jìn)行多個AB實驗。各團(tuán)隊間也要保持溝通，避免單打獨斗進(jìn)行實驗，卻不知被對方的實驗影響了結(jié)果，得出不恰當(dāng)?shù)慕Y(jié)論。
以上，就是關(guān)于AB測試的5個階段性分享，后面的工作中，AB測試還會繼續(xù)做，新的問題還會出現(xiàn)。
-END-
本文為作者獨立觀點，不代表鳥哥筆記立場，未經(jīng)允許不得轉(zhuǎn)載。
《鳥哥筆記版權(quán)及免責(zé)申明》 如對文章、圖片、字體等版權(quán)有疑問，請點擊 反饋舉報
我們致力于提供一個高質(zhì)量內(nèi)容的交流平臺。為落實國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求，為完善跟帖評論自律管理，為了保護(hù)用戶創(chuàng)造的內(nèi)容、維護(hù)開放、真實、專業(yè)的平臺氛圍，我們團(tuán)隊將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進(jìn)行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容，同時也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。
一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護(hù)法》等法律法規(guī)，對以下違法、不良信息或存在危害的行為進(jìn)行處理。
1. 違反法律法規(guī)的信息，主要表現(xiàn)為：
1)反對憲法所確定的基本原則；
2)危害國家安全，泄露國家秘密，顛覆國家政權(quán)，破壞國家統(tǒng)一，損害國家榮譽和利益；
3)侮辱、濫用英烈形象，歪曲、丑化、褻瀆、否定英雄烈士事跡和精神，以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽、榮譽；
4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動；
5)煽動民族仇恨、民族歧視，破壞民族團(tuán)結(jié)；
6)破壞國家宗教政策，宣揚邪教和封建迷信；
7)散布謠言，擾亂社會秩序，破壞社會穩(wěn)定；
8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪；
9)煽動非法集會、結(jié)社、游行、示威、聚眾擾亂社會秩序；
10)侮辱或者誹謗他人，侵害他人名譽、隱私和其他合法權(quán)益；
11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式，對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進(jìn)行網(wǎng)絡(luò)欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法規(guī)禁止的其他內(nèi)容；
2. 不友善：不尊重用戶及其所貢獻(xiàn)內(nèi)容的信息或行為。主要表現(xiàn)為：
1)輕蔑：貶低、輕視他人及其勞動成果；
2)誹謗：捏造、散布虛假事實，損害他人名譽；
3)嘲諷：以比喻、夸張、侮辱性的手法對他人或其行為進(jìn)行揭露或描述，以此來激怒他人；
4)挑釁：以不友好的方式激怒他人，意圖使對方對自己的言論作出回應(yīng)，蓄意制造事端；
5)羞辱：貶低他人的能力、行為、生理或身份特征，讓對方難堪；
6)謾罵：以不文明的語言對他人進(jìn)行負(fù)面評價；
7)歧視：煽動人群歧視、地域歧視等，針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊；
8)威脅：許諾以不良的后果來迫使他人服從自己的意志；
3. 發(fā)布垃圾廣告信息：以推廣曝光為目的，發(fā)布影響用戶體驗、擾亂本網(wǎng)站秩序的內(nèi)容，或進(jìn)行相關(guān)行為。主要表現(xiàn)為：
1)多次發(fā)布包含售賣產(chǎn)品、提供服務(wù)、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式：
2)單個帳號多次發(fā)布包含垃圾廣告的內(nèi)容；
3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容；
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容，如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等，誘騙用戶點擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當(dāng)曝光；
6)購買或出售帳號之間虛假地互動，發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
7)發(fā)布包含欺騙性的惡意營銷內(nèi)容，如通過偽造經(jīng)歷、冒充他人等方式進(jìn)行惡意營銷；
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息，主要表現(xiàn)為：
1)包含自己或他人性經(jīng)驗的細(xì)節(jié)描述或露骨的感受描述；
2)涉及色情段子、兩性笑話的低俗內(nèi)容；
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容；
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想；
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適；
6)炒作緋聞、丑聞、劣跡等；
7)宣揚低俗、庸俗、媚俗內(nèi)容。
5. 不實信息，主要表現(xiàn)為：
1)可能存在事實性錯誤或者造謠等內(nèi)容；
2)存在事實夸大、偽造虛假經(jīng)歷等誤導(dǎo)他人的內(nèi)容；
3)偽造身份、冒充他人，通過頭像、用戶名等個人信息暗示自己具有特定身份，或與特定機(jī)構(gòu)或個人存在關(guān)聯(lián)。
6. 傳播封建迷信，主要表現(xiàn)為：
1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治??；
2)求推薦算命看相大師；
3)針對具體風(fēng)水等問題進(jìn)行求助或咨詢；
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失，包括通過占卜方法問婚姻、前程、運勢，東西寵物丟了能不能找回、取名改名等；
7. 文章標(biāo)題黨，主要表現(xiàn)為：
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導(dǎo)用戶；
2)內(nèi)容與標(biāo)題之間存在嚴(yán)重不實或者原意扭曲；
3)使用夸張標(biāo)題，內(nèi)容與標(biāo)題嚴(yán)重不符的。
8.「飯圈」亂象行為，主要表現(xiàn)為：
1)誘導(dǎo)未成年人應(yīng)援集資、高額消費、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點」、制造話題等形式干擾輿論，影響傳播秩序
9. 其他危害行為或內(nèi)容，主要表現(xiàn)為：
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導(dǎo)未成年人不良嗜好影響未成年人身心健康的；
2)不當(dāng)評述自然災(zāi)害、重大事故等災(zāi)難的；
3)美化、粉飾侵略戰(zhàn)爭行為的；
4)法律、行政法規(guī)禁止，或可能對網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動發(fā)現(xiàn)和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當(dāng)一個用戶發(fā)布違規(guī)內(nèi)容時，本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴(yán)重程度，對帳號進(jìn)行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當(dāng)涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號，或者濫用多個帳號發(fā)布違規(guī)內(nèi)容時，本網(wǎng)站將加重處罰。
三、申訴
隨著平臺管理經(jīng)驗的不斷豐富，本網(wǎng)站出于維護(hù)本網(wǎng)站氛圍和秩序的目的，將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議，可以通過「建議反饋」功能向本網(wǎng)站進(jìn)行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)