但現(xiàn)實(shí)中，除了“提高轉(zhuǎn)化率”這個終極目標(biāo)外，很多ASO優(yōu)化師根本不去思考他們?yōu)槭裁催M(jìn)行測試。測試的目的是驗(yàn)證想法，一步一步找到提高轉(zhuǎn)化的方法，而不是一步到位地直達(dá)轉(zhuǎn)化率提高。

2. 確定目標(biāo)受眾并正確選擇目標(biāo)受眾

應(yīng)用商店實(shí)驗(yàn)需要流量才能獲得具有統(tǒng)計意義的結(jié)果。但它背后的不僅僅是數(shù)字 – 他們是真實(shí)接觸您的應(yīng)用的用戶，測試結(jié)果是用戶與應(yīng)用“交流”的結(jié)果。那么，選擇讓正確的人看到您的測試變得至關(guān)重要。

然而，在現(xiàn)實(shí)中，我們常常讓錯誤的人看到我們的測試版本。

例如，很多應(yīng)用或游戲開發(fā)者將“EN-US”設(shè)置為主要語言 （默認(rèn)語言），然后他們錯誤地認(rèn)為在為該語言創(chuàng)建本地化實(shí)驗(yàn)時，他們的目標(biāo)受眾是美國人。當(dāng)您僅在美國發(fā)布您的應(yīng)用或?yàn)槊绹捎米远x商品詳情頁的時候，這是真的。然而，如果您在全球推廣您的應(yīng)用的時候，情況就變得復(fù)雜得多 – 您的目標(biāo)受眾可能不僅有美國人，還有英國人，印度人，菲律賓人等很多其他國家的人。

再比如，如果您為“French (France) – fr-FR”設(shè)置了一個本地化實(shí)驗(yàn)，您的用戶可能不僅來自法國，還可能來自許多其他法語被廣泛使用的國家。如果您想針對特定國家和特定語言的受眾，您可以創(chuàng)建“自定義商品詳情”并為該詳情運(yùn)行 A/B 測試。

在同一種語言中，有時您的應(yīng)用可能會接觸到來自不同國家、具有不同文化背景的不同受眾。您應(yīng)該在啟動測試之前確定您的目標(biāo)受眾。確保您的測試與您的目標(biāo)受眾很好地匹配。

3. 盡量不要在全球范圍內(nèi)測試

如果您在多個國家/地區(qū)發(fā)布您的應(yīng)用或游戲，那么您應(yīng)該本地化您的應(yīng)用商店列表并進(jìn)行本地化實(shí)驗(yàn)。

由于語言及文化背景的不同，不同國家/地區(qū)的用戶會對相同的文字/圖片/視頻產(chǎn)生不同的反應(yīng) – 大部分時候您都很難找到適合世界各地人們都喜愛元素。

4. 測試優(yōu)先級：視覺優(yōu)于文字

應(yīng)用商店詳情頁中不同元素對轉(zhuǎn)化率有不同的影響。由于時間和資源有限，我們必須優(yōu)先測試最有價值的元素。

根據(jù)我的個人經(jīng)驗(yàn)及業(yè)內(nèi)專家意見，大家基本都同意視覺元素（圖標(biāo)、置頂大圖、屏幕截圖和宣傳視頻）對轉(zhuǎn)化率的影響力大于文本（長描述和短描述）。因此，一般情況下，您應(yīng)該優(yōu)先測試視覺元素。

5. 一次只測試一個元素

A/B測試看起來簡單，但在實(shí)際操作中，卻有很多“坑”防不勝防。如果操作不當(dāng), 您就很難鎖定影響您的App轉(zhuǎn)化率的因素到底是什么。

例如，如果您想測試哪個功能最能吸引您的用戶，您可以將不同功能的屏幕截圖順序更改為您的第一個屏幕截圖。但是，您不應(yīng)同時更改屏幕截圖的順序和截圖中的設(shè)計元素。否則，您就無法判斷到底是應(yīng)用功能吸引了用戶還是截圖設(shè)計吸引了用戶。

6. 確保足夠的樣本量

較低的流量意味著難以較快獲得有統(tǒng)計意義的數(shù)據(jù)。如果您的App流量不夠大，建議只新增一種變體并設(shè)置50%的百分比，而不要在這種情況下采取給原版本分配90%的流量，給測試變體只分配10%的流量。

有些人聲稱1000或2000個用戶足以進(jìn)行測試。但以我個人經(jīng)驗(yàn)而言，當(dāng)每個變體的安裝至少達(dá)到10000以上且測試持續(xù)一周以上時，測試結(jié)果開始逐步趨于穩(wěn)定。

因此，為了使測試效率更高及測試結(jié)果更準(zhǔn)確，您應(yīng)該確保您的測試有足夠的受眾。如果您的應(yīng)用每日下載量過低，您可以通過延長測試天數(shù)獲得足夠的統(tǒng)計數(shù)據(jù)。

為讓開發(fā)者獲得更多的控制權(quán)和更詳實(shí)的統(tǒng)計數(shù)據(jù)，Google去年在 Play 管理中心內(nèi)對商品詳情實(shí)驗(yàn)添加了三項(xiàng)新功能：

l   實(shí)驗(yàn)參數(shù)配置；

l   可估算所需樣本和完成時間的計算器；

l   現(xiàn)在可實(shí)現(xiàn)持續(xù)監(jiān)控實(shí)驗(yàn)的置信區(qū)間。

這對 ASO 優(yōu)化師們來說是一個振奮人心的消息，并且受到了好評。ASO 從業(yè)者將不再需要第三方工具計算測試所需的樣本量。

7. 盡可能選擇更高的置信度

以前，Google Play的測試默認(rèn)的置信度是90% —— 這在ASO從業(yè)人員中臭名昭著。因?yàn)?span lang="EN-US">90%的置信度代表著10%的誤差，這個誤差太大了。而一般A/B測試的置信度應(yīng)該在95%以上。

幸運(yùn)的是，目前Google已經(jīng)允許您在90%至99%的置信度之間進(jìn)行選擇。很顯然，越高的置信度越能降低誤誤報的幾率。然而，雖然最好有更高的置信水平，但如果您選擇 99%，您的測試將運(yùn)行比平時更長的時間。 但無論如何，我希望您至少選擇95%以上的置信度。

在下面的例子中，我們也可以知道，如果你選擇99%的置信度，那么所需的樣本量是90%置信度的2倍以上。僅限于我本人的觀點(diǎn)，在條件許可的情況下，應(yīng)盡量選擇更高的置信度。畢竟如果更低的置信度導(dǎo)致了測試結(jié)果不可信，那么這些測試對我們的業(yè)務(wù)是毫無幫助的。

8. 最小可檢測效果 (MDE) 

最小可檢測效果 (MDE) 是另一個新功能，有助于減少 A/B 測試中的誤報。Google將 MDE 定義為“變體與對照組之間的差異至少要達(dá)到該值，才能確定哪一組效果更好。如果實(shí)際差異低于此值，您的實(shí)驗(yàn)將被視為平局。”

例如，如果您將 MDE 設(shè)置為 5%，而您的應(yīng)用原版本轉(zhuǎn)化率為 45%，您的變體將需要至少47.25% 的轉(zhuǎn)化率才能被宣布為獲勝者 (45% x 1.05% = 47.25%)。

您目前可以選擇介于 0.5% 和 6% 之間的 MDE。MDE 越小，檢測變化所需的樣本量就越大。如果您的應(yīng)用是新應(yīng)用并且沒有獲得很多安裝，我們建議您將 MDE 設(shè)置得更高，因?yàn)樗璧臉颖玖繒　Ｈ绻懈墒斓膽?yīng)用并且有大量下載，我們建議設(shè)置較低的 MDE 以獲得更精確的結(jié)果。

9. 測試至少持續(xù)一周

每次您運(yùn)行實(shí)驗(yàn)時，Google Play一般會在幾天后告訴您實(shí)驗(yàn)完成。如果您的應(yīng)用或游戲每天都有大量的用戶，您甚至可以在 24 小時后獲得結(jié)果。

很多開發(fā)者或營銷人員在快速獲得積極的測試結(jié)果后都迫不及待地“應(yīng)用”，甚至?xí)?span lang="EN-US">“這樣我們可以在一個月內(nèi)測試很多的想法并得出很多重要的結(jié)論了”。

這種心情和想法都是可以理解的。作為開發(fā)者或營銷人員，我們都渴望快速找到有效的方法并應(yīng)用它們，這樣我們就可以立即提高下載轉(zhuǎn)化率并獲得更多的應(yīng)用安裝了。然而，有時候這種“匆匆忙忙”的測試會把您帶坑里去。

Google建議至少將測試持續(xù)7天。運(yùn)行一周可以讓您捕捉用戶在工作日和周末的不同行為，確保測試結(jié)果不會受工作日或周末、季節(jié)性活動、假期、市場波動等的影響。實(shí)驗(yàn)的運(yùn)行時間越久，收集的數(shù)據(jù)越多，變體的效果范圍就越窄、越準(zhǔn)確。

當(dāng)然，如果您的測試連續(xù)三天帶來很明顯的負(fù)面結(jié)果，則可以直接停止測試。畢竟不好的變體會拉低總體的轉(zhuǎn)化率，特別是在App流量較大的情況下，損失會更大。

10. 不要將Google Play的獲勝測試應(yīng)用在Apple App Store

為提高效率，減少測試次數(shù)及時間，有部分營銷人員將Google Play的測試結(jié)果應(yīng)用在App Store中。這是一個風(fēng)險較大的行為。

我們必須承認(rèn)，iOS和Android的用戶不同，對應(yīng)用的期望和態(tài)度不同，這使得他們的下載意圖和習(xí)慣有所不同。此外，Google Play和App Store展示應(yīng)用的方式大為不同，在Google Play上看起來很突出的元素，在App Store上可能就很難被注意到。

因此，您不應(yīng)在 App Store上應(yīng)用 Google Play中獲勝的測試結(jié)果。

11. 在測試取得正向結(jié)果后繼續(xù)觀察應(yīng)用下載受到的實(shí)際影響

即使A/B測試的實(shí)驗(yàn)結(jié)果表明測試變體的表現(xiàn)更好，它的實(shí)際表現(xiàn)仍有可能不同，尤其是測試結(jié)果存在紅綠區(qū)間的情況下。

因此，在得出正向的測試結(jié)果并應(yīng)用后，請密切關(guān)注您的應(yīng)用安裝受到的實(shí)際影響。真正的影響可能與您的預(yù)期有很大不同。

我們需要的注意的是，很多人可能會觀察到應(yīng)用正向的測試結(jié)果后一周內(nèi)，應(yīng)用下載也確實(shí)有增長，因此認(rèn)為測試結(jié)果有效。實(shí)際上，應(yīng)用的下載受多方面的影響，例如買量和自然量之間會互相影響。因此，除了觀察安裝外，我建議再找一些流量比較穩(wěn)定的渠道觀察實(shí)際下載轉(zhuǎn)化率的變化。

12. 按需測試置頂大圖

自2018年Google Play應(yīng)用商店改版以來，置頂大圖不再出現(xiàn)在應(yīng)用詳情頁頂部。當(dāng)然，如果您的應(yīng)用詳情頁有宣傳視頻，則您的置頂大圖將被用作該視頻的封面。這種情況下，用戶仍可在應(yīng)用商店詳情頁看到置頂大圖。

那么，對于在Play商店中未包含視頻的應(yīng)用，我們是否仍需對置頂大圖進(jìn)行A/B測試？

許多ASO優(yōu)化師認(rèn)為我們?nèi)杂欣碛蛇@樣做。因?yàn)橹庙敶髨D也可以展示在Play商店的廣告版位及“推薦”應(yīng)用版位中。

但是，在我看在，我們可以對置頂大圖進(jìn)行A/B測試，但如果我們用Google Play商品詳情實(shí)驗(yàn)對沒有視頻宣傳的應(yīng)用進(jìn)行置頂大圖A/B測試則意義不大。因?yàn)樵谶@種情況下，任何進(jìn)來的用戶都不能在商店詳情頁看見置頂大圖。我們又如何能夠測試用戶根本看不見的東西呢？

總結(jié)：您可以信任Google Play A/B測試的結(jié)果嗎？

總體而言,Google Play 商品詳情頁實(shí)驗(yàn)仍然是ASO優(yōu)化師們最常用的A/B測試渠道；針對實(shí)驗(yàn)結(jié)果，我們可以部分地相信。

如果您已經(jīng)在Google Play中進(jìn)行一些A/A、B/A、A/B//B類型的測試，可能您已經(jīng)發(fā)現(xiàn)，有時完全相同的實(shí)驗(yàn)有不同的結(jié)果。在下面的例子中，我們就可以看到，針對完全相同的應(yīng)用圖標(biāo)，各個測試結(jié)果之間的差別是比較大的；隨著時間的拉長，這種差別被進(jìn)一步放大。

導(dǎo)致這種情況的因素主要有4個：

• 樣本量太小。如上圖所示，每個測試中樣本的用戶量均低于1000，不利于得出有效結(jié)論。
• 用戶下載行為在一周中的不同日子可能會有很大差異。如，在周末，人們可能更愿意下載一個新應(yīng)用，而不關(guān)心它的圖標(biāo)或屏幕截圖。一些開發(fā)人員運(yùn)行測試的時間少于 7 天，因此他們更有可能得到錯誤的結(jié)果。
• Google Play商品詳情實(shí)驗(yàn)設(shè)置的置信度較低（90%），則測試結(jié)果的可信度為90%，這意味著本身就有10%的可能測試結(jié)果是不可信的。
• 由于截至目前我們?nèi)詿o法確認(rèn)Google Play到底是如何“分配”樣本的，以及用戶到達(dá)商店詳情頁后到底是如何進(jìn)行互動的，那么我們對測試結(jié)果的疑慮則會進(jìn)一步加深。

那么，如何提高 Google Play 實(shí)驗(yàn)的可信度呢？—— 嚴(yán)格遵循本文中提到的一些Google Play A/B測試中的最佳實(shí)踐能有效地提高您的實(shí)驗(yàn)結(jié)果的可信度。

此外，必須承認(rèn)的是，在絕大多數(shù)開發(fā)團(tuán)隊(duì)中，A/B測試的策略都是碎片化、低效、和短期的。我希望各位開發(fā)者及營銷人員能有計劃、更多次地在Google Play進(jìn)行A/B測試?yán)鄯e經(jīng)驗(yàn)，分享經(jīng)驗(yàn)，幫助應(yīng)用更高效地獲客。