大多數(shù)產(chǎn)品人都是通過增長(zhǎng)實(shí)驗(yàn)來(lái)完成用戶及產(chǎn)品的增長(zhǎng)。什么是增長(zhǎng)實(shí)驗(yàn)？它的正確設(shè)計(jì)模型又是什么呢？本文將會(huì)告訴你答案。

在增長(zhǎng)工作中，大家常會(huì)通過增長(zhǎng)實(shí)驗(yàn)來(lái)確定增長(zhǎng)策略的有效性和影響范圍。而設(shè)計(jì)增長(zhǎng)實(shí)驗(yàn)時(shí)常會(huì)遇到一些坑。比如：

• 沒有定義正確的實(shí)驗(yàn)指標(biāo)，實(shí)驗(yàn)上線后無(wú)法決定實(shí)驗(yàn)成功還是失敗。

• 對(duì)于實(shí)驗(yàn)?zāi)繕?biāo)用戶沒有清晰的認(rèn)識(shí)，導(dǎo)致實(shí)驗(yàn)上線后，分析了很久都得不出結(jié)論。

• 流量劃分不均勻隨機(jī)，導(dǎo)致實(shí)驗(yàn)結(jié)果出現(xiàn)偏頗，數(shù)據(jù)不可信。

本文將通過以下三小節(jié)的內(nèi)容來(lái)簡(jiǎn)單分享下如何避免以上這些常見的問題。

一、制定實(shí)驗(yàn)指標(biāo)

正確的實(shí)驗(yàn)指標(biāo)能夠全面準(zhǔn)確地檢驗(yàn)實(shí)驗(yàn)假設(shè)的真?zhèn)?，從而衡量?shí)驗(yàn)結(jié)果的成敗。

衡量實(shí)驗(yàn)成敗，主要可以分為三類指標(biāo)：

1. 核心指標(biāo)

核心指標(biāo)是決定實(shí)驗(yàn)成敗的關(guān)鍵指標(biāo)，該指標(biāo)是后期實(shí)驗(yàn)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)顯著計(jì)算的關(guān)鍵。核心指標(biāo)確定的前提是實(shí)驗(yàn)最終目標(biāo)的確立。根據(jù)該實(shí)驗(yàn)?zāi)繕?biāo)判斷想要影響的指標(biāo)是哪一個(gè)。是否可以通過這個(gè)指標(biāo)確定實(shí)驗(yàn)組的改動(dòng)是成功的。

2. 輔助指標(biāo)

輔助指標(biāo)是實(shí)驗(yàn)可能影響到的其他重要指標(biāo)，通過這些重要指標(biāo)可以全面了解實(shí)驗(yàn)結(jié)果。常見的輔助指標(biāo)如漏斗細(xì)分步驟的各節(jié)點(diǎn)轉(zhuǎn)化率，可以通過這些轉(zhuǎn)化率更全面的了解實(shí)驗(yàn)改動(dòng)對(duì)整個(gè)漏斗的影響。

3. 反向指標(biāo)

反向指標(biāo)是提示實(shí)驗(yàn)可能出現(xiàn)的負(fù)面影響。通過反向指標(biāo)的高低來(lái)判斷實(shí)驗(yàn)結(jié)果是否成功。如果實(shí)驗(yàn)沒有負(fù)面影響或負(fù)面影響較小，可以接受，才能宣布實(shí)驗(yàn)成功。如果負(fù)面影響很大，可以否決實(shí)驗(yàn)的正向結(jié)果。

常見的反向指標(biāo)如頁(yè)面退出率，訂單取消率，Push退訂率，應(yīng)用刪除率等。

二、確定實(shí)驗(yàn)對(duì)象

在確定了實(shí)驗(yàn)?zāi)繕?biāo)后進(jìn)入了增長(zhǎng)實(shí)驗(yàn)設(shè)計(jì)的第二步，確定實(shí)驗(yàn)對(duì)象。這一步驟主要解決實(shí)驗(yàn)對(duì)象的包含范圍和實(shí)驗(yàn)所需的樣本數(shù)量。

1. 確定實(shí)驗(yàn)對(duì)象的包含范圍

如果所設(shè)計(jì)的增長(zhǎng)實(shí)驗(yàn)希望所有用戶都進(jìn)入該實(shí)驗(yàn)范圍，那則不需要這一步。如果希望僅有符合特定條件的用戶才可進(jìn)入實(shí)驗(yàn)范圍，則需要設(shè)置實(shí)驗(yàn)對(duì)象范圍。通過此設(shè)置可針對(duì)特定用戶群組進(jìn)行實(shí)驗(yàn)，幫助生成更精細(xì)的產(chǎn)品優(yōu)化方案。通常設(shè)置實(shí)驗(yàn)對(duì)象范圍類型可通過第三方A/B測(cè)試工具自帶分組來(lái)設(shè)置。

設(shè)置實(shí)驗(yàn)受眾可以通過一些第三方A/B測(cè)試工具來(lái)完成。

很多第三方的測(cè)試協(xié)助工具都會(huì)有默認(rèn)受眾分組，比如：操作系統(tǒng)，瀏覽器類型，設(shè)備類型，應(yīng)用版本等等。

我們也可以自定義受眾分組，比如：

• 注冊(cè)15天內(nèi)的新用戶

• 來(lái)自一線城市的用戶

• 某個(gè)興趣標(biāo)簽的用戶

• 來(lái)自某個(gè)渠道的用戶

2. 預(yù)估實(shí)驗(yàn)所需的樣本數(shù)量

首先我們先來(lái)看一個(gè)案例，某公司想通過改變按鈕顏色提高“下單”按鈕的點(diǎn)擊率。

在實(shí)驗(yàn)上線2小時(shí)后，進(jìn)行了一次數(shù)據(jù)統(tǒng)計(jì)：

• 藍(lán)色按鈕的頁(yè)面訪問量是60次，按鈕點(diǎn)擊次數(shù)為15次，轉(zhuǎn)化率為25%。

• 紅色按鈕的頁(yè)面訪問量是56次，按鈕點(diǎn)擊次數(shù)為7次，轉(zhuǎn)化率為12.5%。

• 那么這時(shí)候，是否可以得到藍(lán)色按鈕比紅色按鈕的轉(zhuǎn)化率更高呢？相信大多數(shù)的產(chǎn)品人都會(huì)認(rèn)為樣本數(shù)太小，不能得出可信的結(jié)論。

在實(shí)驗(yàn)上線2天后，再進(jìn)行了一次數(shù)據(jù)統(tǒng)計(jì)：

• 藍(lán)色按鈕的頁(yè)面訪問量是6238次，按鈕點(diǎn)擊次數(shù)為368次，轉(zhuǎn)化率為5.9%。

• 紅色按鈕的頁(yè)面訪問量是6122次，按鈕點(diǎn)擊次數(shù)為588次，轉(zhuǎn)化率為9.6%。

• 那么此時(shí)，是否能確定紅色按鈕是否效果更好呢？但樣本數(shù)量是否可信呢?

在實(shí)驗(yàn)上線1年后，又進(jìn)行了一次數(shù)據(jù)統(tǒng)計(jì)：

• 藍(lán)色按鈕的頁(yè)面訪問量是132892次，按鈕點(diǎn)擊次數(shù)為6110次，轉(zhuǎn)化率為4.6%。

• 紅色按鈕的頁(yè)面訪問量是140021次，按鈕點(diǎn)擊次數(shù)為9641次，轉(zhuǎn)化率為7.5%。

• 那么此時(shí)，是否就可以非常的肯定的說(shuō)紅色按鈕較藍(lán)色按鈕的轉(zhuǎn)化率更好?

通過上述案例可發(fā)現(xiàn)從結(jié)果可靠性的角度看，樣本量越大，實(shí)驗(yàn)時(shí)間越長(zhǎng)，實(shí)驗(yàn)結(jié)果則越可靠。

但從實(shí)際工作的成本角度出發(fā)，樣本量越小，實(shí)驗(yàn)時(shí)間越短，實(shí)驗(yàn)的試錯(cuò)成本就越小，實(shí)驗(yàn)迭代速度也越快。

因此在保障實(shí)驗(yàn)結(jié)果可靠性的同時(shí)又盡可能最小化樣本量，不會(huì)浪費(fèi)過多的實(shí)驗(yàn)時(shí)間顯得至關(guān)重要。我們可以通過對(duì)增長(zhǎng)實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)顯著性檢驗(yàn)找到這個(gè)平衡點(diǎn)。

統(tǒng)計(jì)顯著性（Statistical significance）：是指零假設(shè)為真的情況下拒絕零假設(shè)所要承擔(dān)的風(fēng)險(xiǎn)水平，又叫概率水平，或者顯著水平。在增長(zhǎng)實(shí)驗(yàn)中是指對(duì)照組和實(shí)驗(yàn)組之間轉(zhuǎn)化率差異的真實(shí)水平程度。

如：對(duì)比對(duì)照組和實(shí)驗(yàn)組的某個(gè)實(shí)驗(yàn)指標(biāo)發(fā)現(xiàn)轉(zhuǎn)化率有差別，而統(tǒng)計(jì)顯著性為90%。則代表造成差別中有90%的可能性是真實(shí)存在的。而10%的可能性是隨機(jī)誤差引起的。

當(dāng)統(tǒng)計(jì)顯著性越高，則隨機(jī)誤差的可能性就越低，得到的結(jié)果就越可靠。我們可通過確認(rèn)結(jié)果統(tǒng)計(jì)性顯著所需的最小樣本數(shù)來(lái)預(yù)估實(shí)驗(yàn)所需樣本數(shù)量。

影響實(shí)驗(yàn)所需樣本數(shù)量的因素主要有三個(gè)：

1. 原版本的轉(zhuǎn)化率：如原版本的轉(zhuǎn)化率越低，則實(shí)驗(yàn)所需要的樣本數(shù)量越大。

2. 新版本的轉(zhuǎn)化率：如果新版本和原版本的轉(zhuǎn)化率差別越小，則檢測(cè)所需的敏感度越高，實(shí)驗(yàn)所需要的樣本數(shù)量越大。

3. 統(tǒng)計(jì)顯著性要求：統(tǒng)計(jì)顯著性要求越高，對(duì)結(jié)果的需求越確定，則實(shí)驗(yàn)所需要的樣本數(shù)量越大。建議一般情況統(tǒng)計(jì)顯著性要求至少為95%。

我們繼續(xù)剛才的案例。假設(shè)原版本，也就是藍(lán)色按鈕的點(diǎn)擊轉(zhuǎn)化率為10%，而預(yù)計(jì)改為紅色后，點(diǎn)擊轉(zhuǎn)化率為12%，我們通過第三方A/B測(cè)試樣本計(jì)算器工具，在統(tǒng)計(jì)顯著設(shè)置為95%的情況下，預(yù)估出實(shí)驗(yàn)所需要的樣本數(shù)量為2900。我們預(yù)估每天的的頁(yè)面訪問數(shù)為500。而這個(gè)實(shí)驗(yàn)一共存在紅色按鈕和藍(lán)色按鈕兩個(gè)實(shí)驗(yàn)樣本，則樣本總數(shù)為5800，所以需要的實(shí)驗(yàn)時(shí)長(zhǎng)是12天。

三、設(shè)計(jì)實(shí)驗(yàn)版本

在完成了確定實(shí)驗(yàn)指標(biāo)和實(shí)驗(yàn)對(duì)象后，就可以開始設(shè)計(jì)實(shí)驗(yàn)版本了。在設(shè)計(jì)實(shí)驗(yàn)版本時(shí)，需要思考實(shí)驗(yàn)組相比對(duì)照組都做了哪些改動(dòng)。確定實(shí)驗(yàn)版本數(shù)量，版本之間的關(guān)聯(lián)和區(qū)別是什么。實(shí)驗(yàn)受眾的流量在實(shí)驗(yàn)版本之間如何分配。
實(shí)驗(yàn)版本的數(shù)量和區(qū)別可以通過以下三個(gè)方面來(lái)確定：

1. 版本數(shù)量取決于實(shí)驗(yàn)假設(shè)的數(shù)量，只選擇高質(zhì)量的實(shí)驗(yàn)假設(shè)。

2. 明確實(shí)驗(yàn)類型，是優(yōu)化型實(shí)驗(yàn)還是探索型實(shí)驗(yàn)。優(yōu)化型實(shí)驗(yàn)：每個(gè)版本只改變單一變量，明確改動(dòng)的影響。探索型實(shí)驗(yàn)：可以同時(shí)改變多個(gè)變量，設(shè)計(jì)全新的實(shí)驗(yàn)版本。

3. 版本數(shù)量越大，則需要的總樣本數(shù)量越大。

實(shí)驗(yàn)受眾的流量在實(shí)驗(yàn)版本之間分配原則是保證每個(gè)實(shí)驗(yàn)版本的樣本分流均勻隨機(jī)。樣本分流是否均勻隨機(jī)，會(huì)極大影響實(shí)驗(yàn)結(jié)果的可信性。均勻隨機(jī)的樣本分流可消除一切外在因素的影響。保證對(duì)照組和實(shí)驗(yàn)組唯一區(qū)別就是實(shí)驗(yàn)改動(dòng)。

樣本科學(xué)分流是A/B測(cè)試工具的重要功能之一，需要達(dá)到以下四個(gè)標(biāo)準(zhǔn)：

• 均勻性：確保分流樣本各個(gè)維度分配比例均勻，且分布隨機(jī)。

• 唯一性：通過精準(zhǔn)高效的算法，確保單個(gè)用戶每次登錄產(chǎn)品時(shí)被分配到的實(shí)驗(yàn)版本是唯一的。

• 定向性：可根據(jù)樣本標(biāo)簽來(lái)實(shí)現(xiàn)精準(zhǔn)的定向分流。

• 分層分流：可以滿足并進(jìn)行大量A/B實(shí)驗(yàn)測(cè)試需求。

四、增長(zhǎng)實(shí)驗(yàn)案例

這里通過一個(gè)虛擬的案例來(lái)簡(jiǎn)單分享一下如何設(shè)計(jì)一個(gè)增長(zhǎng)實(shí)驗(yàn)。
假設(shè)你現(xiàn)在需要設(shè)計(jì)一個(gè)增長(zhǎng)策略方案，來(lái)提高keep的用戶的關(guān)注轉(zhuǎn)化率。

1. 實(shí)驗(yàn)想法

1）實(shí)驗(yàn)?zāi)繕?biāo)

提升用戶對(duì)其他用戶的關(guān)注率。

2）實(shí)現(xiàn)想法

通過最佳實(shí)踐（微博案例），可得出實(shí)驗(yàn)想法一：落地頁(yè)的發(fā)現(xiàn)頁(yè)簽下信息流中每個(gè)用戶的動(dòng)態(tài)cell，如未關(guān)注，則顯示【關(guān)注】按鈕。增加關(guān)注功能曝光量，可提升用戶的關(guān)注點(diǎn)擊率。

根據(jù)用戶行為路徑，收集用戶行為數(shù)據(jù)：

• 關(guān)注行為在收藏行為的占比。即：用戶同時(shí)關(guān)注博主并收藏博主動(dòng)態(tài)占用戶收藏動(dòng)態(tài)的比例。

• 關(guān)注行為在點(diǎn)贊行為的占比。即：用戶同時(shí)關(guān)注博主并點(diǎn)贊博主動(dòng)態(tài)占用戶點(diǎn)贊動(dòng)態(tài)的比例。

通過數(shù)據(jù)定量分析發(fā)現(xiàn)，用戶點(diǎn)贊和收藏行為與用戶關(guān)注博主行為相關(guān)性較大。

因而得出實(shí)驗(yàn)假設(shè)：在動(dòng)態(tài)詳情頁(yè)中，首次觸發(fā)對(duì)該用戶的簡(jiǎn)單社交行為(點(diǎn)贊，收藏)時(shí)，如未關(guān)注用戶時(shí)，調(diào)起彈框引導(dǎo)用戶關(guān)注發(fā)布者?！娟P(guān)注該用戶，及時(shí)獲得TA的最新動(dòng)態(tài)?！俊戈P(guān)注」「取消」。

3）實(shí)驗(yàn)假設(shè)

基于以上實(shí)驗(yàn)想法分析，得出以下假設(shè)：

• 假設(shè)一：落地頁(yè)的發(fā)現(xiàn)頁(yè)簽下信息流中每個(gè)用戶的動(dòng)態(tài)，如未關(guān)注該用戶，則顯示【關(guān)注】按鈕。增大關(guān)注功能曝光量，預(yù)計(jì)關(guān)注點(diǎn)擊率提升到10%。因?yàn)樵龃蠊δ芷毓饬浚?dāng)用戶對(duì)該博主感興趣時(shí)，可更便捷的關(guān)注該博主。

• 假設(shè)二：動(dòng)態(tài)詳情頁(yè)中，首次觸發(fā)對(duì)該用戶的簡(jiǎn)單社交行為(點(diǎn)贊，收藏)時(shí)，調(diào)起彈框引導(dǎo)用戶關(guān)注發(fā)布者。預(yù)計(jì)關(guān)注點(diǎn)擊率提升到6%。因?yàn)辄c(diǎn)贊或收藏內(nèi)容，表示用戶對(duì)該博主的內(nèi)容的感興趣并認(rèn)可該博主。降低兩者之間的社會(huì)認(rèn)知差異。更容易接受關(guān)注該博主的行為。

2. 優(yōu)先級(jí)排序

通過ICE優(yōu)先級(jí)模型，得到優(yōu)先級(jí)結(jié)論：推薦動(dòng)態(tài)頁(yè)-增加關(guān)注按鈕的綜合得分最高。

3. 實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)假設(shè)：如果在動(dòng)態(tài)詳情頁(yè)，如果用戶在內(nèi)容上停留5秒以上，“關(guān)注”按鈕變亮變大，提示用戶可以關(guān)注此博主，關(guān)注率預(yù)計(jì)可提升至6%，因?yàn)橛脩糸喿x每條動(dòng)態(tài)內(nèi)容的是平均時(shí)長(zhǎng)為10秒，閱讀5秒以上，表示用戶對(duì)該內(nèi)容感興趣，此時(shí)突出關(guān)注按鈕，更容易誘發(fā)用戶完成關(guān)注博主的動(dòng)作。

1）制定實(shí)驗(yàn)指標(biāo)

• 核心指標(biāo)：動(dòng)態(tài)詳情頁(yè)的關(guān)注按鈕的點(diǎn)擊率

• 反向指標(biāo)：用戶取關(guān)率。因提高了用戶關(guān)注按鈕的曝光聚集度，造成用戶體驗(yàn)降低，致使用戶執(zhí)行取關(guān)操作。

• 輔助指標(biāo)：動(dòng)態(tài)詳情頁(yè)的平均閱讀時(shí)長(zhǎng)。動(dòng)態(tài)詳情的訪問UV和PV。動(dòng)態(tài)詳情頁(yè)的點(diǎn)贊率，收藏率，評(píng)論按鈕點(diǎn)擊率。日人均關(guān)注博主數(shù)。如：用戶在內(nèi)容閱讀5秒后，受到關(guān)注按鈕的動(dòng)效提醒效果的影響，可能會(huì)影響用戶的內(nèi)容閱讀體驗(yàn)，內(nèi)容閱讀體驗(yàn)的最直觀的反應(yīng)指標(biāo)為內(nèi)容閱讀平均閱讀時(shí)長(zhǎng)。動(dòng)態(tài)詳情的訪問UV和PV是否下降會(huì)直接反應(yīng)出在詳情頁(yè)修改關(guān)注按鈕交互效果后，對(duì)用戶再次進(jìn)入該頁(yè)面是否產(chǎn)生阻力。在動(dòng)態(tài)詳情頁(yè)中，關(guān)注按鈕點(diǎn)擊率的改變可能會(huì)影響動(dòng)態(tài)的社交類行為如點(diǎn)贊，收藏，評(píng)論，關(guān)注的觸發(fā)概率。

2）確定實(shí)驗(yàn)對(duì)象

實(shí)驗(yàn)對(duì)象范圍：根據(jù)用戶行為路徑，該實(shí)驗(yàn)對(duì)象訪問內(nèi)容詳情頁(yè)且停留時(shí)間2秒以上的用戶群體。

原因：

• 實(shí)驗(yàn)對(duì)象為對(duì)內(nèi)容詳情頁(yè)的關(guān)注按鈕。因而用戶需訪問內(nèi)容詳情頁(yè)。

• 因?qū)嶒?yàn)組需對(duì)用戶在內(nèi)容詳情頁(yè)的停留時(shí)長(zhǎng)做邊際限制，最短2秒，因而停留時(shí)間2秒以上為受眾用戶行為特征范圍。

3）設(shè)計(jì)實(shí)驗(yàn)版本

• 對(duì)照組：保持原有產(chǎn)品交互設(shè)計(jì)不變，即用戶在動(dòng)態(tài)詳情頁(yè)面閱讀停留5秒以上，關(guān)注按鈕無(wú)變化。

• 實(shí)驗(yàn)組A：用戶在動(dòng)態(tài)詳情頁(yè)面閱讀停留5秒時(shí)，關(guān)注按鈕發(fā)生變大變亮的漸進(jìn)動(dòng)效，時(shí)間為2秒。設(shè)計(jì)原因：考察提高關(guān)注按鈕曝光獲取是否會(huì)提高用戶的關(guān)注點(diǎn)擊率。

• 實(shí)驗(yàn)組B：用戶在動(dòng)態(tài)詳情頁(yè)面閱讀停留2秒時(shí)，關(guān)注按鈕發(fā)生變大變亮的閃爍動(dòng)效，時(shí)間為2秒。設(shè)計(jì)原因：考察用戶對(duì)內(nèi)容的閱讀時(shí)長(zhǎng)的高低是否影響用戶的關(guān)注點(diǎn)擊率。

通過第三方工具，比如云眼計(jì)算樣本數(shù)量，可以得到以下結(jié)論：

• 當(dāng)前內(nèi)容詳情頁(yè)的關(guān)注按鈕的點(diǎn)擊率是5%。內(nèi)容詳情頁(yè)每天的平均訪問量是10000人。假設(shè)滿足在內(nèi)容詳情頁(yè)停留2秒以上的用戶占50%，即5000人。

• 如目標(biāo)點(diǎn)擊率提升到6%，每個(gè)實(shí)驗(yàn)版本的樣本量是6900；三個(gè)實(shí)驗(yàn)的樣本量為6900×3 = 20700。預(yù)估實(shí)驗(yàn)周期為4~5個(gè)自然日（20700 ÷ 5000 ≈ 4.14）。

• 如目標(biāo)點(diǎn)擊率提升到5.5%，每個(gè)實(shí)驗(yàn)版本的樣本量是31000；三個(gè)實(shí)驗(yàn)的樣本量為31000×3 = 93000。預(yù)估實(shí)驗(yàn)周期為18~19個(gè)自然日（93000 ÷ 5000 ≈ 18.6）。

備注：本文部分內(nèi)容參考三節(jié)課《增長(zhǎng)黑客認(rèn)知入門課》

-END-