chinesefreesexvideos高潮,欧美极品少妇性运交,久久久国产一区二区三区,99久久婷婷国产综合精品,成人国产一区二区三区

導(dǎo)讀：這里是A/B Testing的第二篇文章，如果希望了解A/B Testing 實(shí)際應(yīng)用的指標(biāo)說明，可以只讀當(dāng)前文章這部分。如果你希望了解一些理論基礎(chǔ)，可以先看第一篇。

五、置信區(qū)間 與 置信度（置信水平）

• 置信區(qū)間是什么？

概率論與數(shù)理統(tǒng)計(jì)講述的是一個(gè)通過抽樣和分析來預(yù)估總體數(shù)據(jù)的一門科學(xué)。實(shí)驗(yàn)其實(shí)是希望通過抽樣的數(shù)據(jù)來預(yù)估整體的效果。

我們?cè)诟咧械臅r(shí)候就已經(jīng)學(xué)過，所有的測(cè)量和評(píng)估都是有誤差的。一個(gè)量的觀測(cè)值或計(jì)算值與其真實(shí)值之差，特指統(tǒng)計(jì)誤差，即一個(gè)量在測(cè)量、計(jì)算或觀察過程中由于某些條件或通常由于某些不可控制的因素的影響而造成的變化偏離標(biāo)準(zhǔn)值或規(guī)定值的數(shù)量就稱之為誤差。同時(shí)非常重要的一點(diǎn)是 ”誤差是不可避免的“。

因此，這里有兩個(gè)預(yù)估策略，一個(gè)是點(diǎn)估計(jì)，一個(gè)是區(qū)間估計(jì)。從上帝的視覺來看，真相只有一個(gè)，比如說，中國(guó)人的平均身高是多少，上帝可以把14億的中國(guó)人的身高都掃一眼，然后就知道平均身高了。但是作為人類是不可能做到這一點(diǎn)的，因此就需要通過抽樣進(jìn)行預(yù)估。比如預(yù)估平均身高是170cm，那么這個(gè)值就是點(diǎn)估計(jì)。而范圍預(yù)估則是，預(yù)估平均身高是170cm，但是有±3cm的誤差，那么這里[167，170]的預(yù)估，就是區(qū)間預(yù)估。

統(tǒng)計(jì)學(xué)上描述區(qū)間估計(jì)（interval estimate）是在點(diǎn)估計(jì)的基礎(chǔ)上，給出總體參數(shù)估計(jì)的一個(gè)區(qū)間范圍，該區(qū)間通常由樣本統(tǒng)計(jì)量加減估計(jì)誤差得到。

很顯然，區(qū)間預(yù)估會(huì)比點(diǎn)預(yù)估更嚴(yán)謹(jǐn)。這里的根據(jù)誤差得到的一個(gè)數(shù)值區(qū)間在統(tǒng)計(jì)概率中就叫做置信區(qū)間。簡(jiǎn)單來說，置信區(qū)間就是誤差范圍。誤差范圍理論上越小越好。比如預(yù)估中國(guó)人身高，你給的范圍是0到10米，當(dāng)然不能說你錯(cuò)，但是誤差范圍太大，區(qū)間太大了，太不靠譜。從上面所說的中心極限定理我們知道，抽樣的均值一定在總體均值的左右范圍波動(dòng)，并且呈現(xiàn)正太分布。因此，我們需要通過給出足夠小的誤差范圍，同時(shí)能明確的知道這個(gè)范圍有多少的概率包含總體均值。

因此，在一定的誤差范圍內(nèi)評(píng)估某個(gè)區(qū)間包含總體均值的概率的值，就是置信度或者置信水平。假設(shè)我需要的置信水平是95%，也就是說如果我做100次抽樣，會(huì)有95個(gè)置信區(qū)間包含了總體平均值—這個(gè)也是置信度的最直接的理解。計(jì)算某個(gè)誤差范圍內(nèi)包含總體均值的概率的值，就是“置信水平”或者“置信度”。

這里必須重復(fù)明確下，有兩個(gè)概念，一是誤差范圍所要表達(dá)的區(qū)間，是置信區(qū)間，置信區(qū)間這個(gè)數(shù)值范圍包含總體均值的概率叫置信度或者置信水平。換個(gè)說法來說，就是置信區(qū)間并不是完全置信，實(shí)際上只是一個(gè)評(píng)估區(qū)間，需要有個(gè)評(píng)估指標(biāo)來評(píng)估它的置信水平。

上面的結(jié)論里提到：置信水平越高，區(qū)間越寬，置信區(qū)間包含總體平均值統(tǒng)計(jì)量的概率越大。

我們?nèi)粘Ｊ褂玫闹眯潘酱蟛糠质?5%。為什么是95%？我覺得有兩個(gè)原因

1）95%的置信度，在正太分布里，誤差范圍剛好是2個(gè)標(biāo)準(zhǔn)差σ（也被稱為標(biāo)準(zhǔn)偏差，或者實(shí)驗(yàn)標(biāo)準(zhǔn)差，在概率統(tǒng)計(jì)中最常使用作為統(tǒng)計(jì)分布程度上的測(cè)量依據(jù)。）范圍不算大，同時(shí)置信水平也相對(duì)較高。如下圖：

2）置信水平是95%這個(gè)數(shù)字并不是必然的，而是人為設(shè)定的。

有些實(shí)驗(yàn)要求的誤差范圍要小寫，比如上圖的一個(gè)標(biāo)準(zhǔn)差σ的范圍，置信度則為68%。但，過小誤差范圍導(dǎo)致置信度太小，從而導(dǎo)致實(shí)驗(yàn)效果難以評(píng)估，因此，就拍了個(gè)差不多的數(shù)字?，F(xiàn)在95%的置信區(qū)間基本已形成了默認(rèn)的規(guī)范。主要原因首先是誤差范圍不太大，只有2個(gè)標(biāo)準(zhǔn)差，其次，置信度有95%也比較高了。

數(shù)據(jù)不置信怎么辦？實(shí)驗(yàn)由于數(shù)據(jù)積累較少，很可能無法快速收斂到置信區(qū)間出來。那么這個(gè)時(shí)候，就需要延遲實(shí)驗(yàn)時(shí)間 或者 多放一些流量進(jìn)行實(shí)驗(yàn)。當(dāng)前的產(chǎn)品，通常都有比較明顯的周末與工作日效應(yīng)，很多實(shí)驗(yàn)都建議能夠累計(jì)超過7天的數(shù)據(jù)進(jìn)行分析。

總結(jié)：95%置信區(qū)間就是我們想要找到的一個(gè)均值預(yù)估范圍區(qū)間，如果我做100次抽樣，會(huì)有95個(gè)置信區(qū)間包含了總體平均值—這個(gè)也是置信度的最直接的理解。

六、顯著性

顯著性是實(shí)驗(yàn)非常重要的一個(gè)特性，是AB 實(shí)驗(yàn)中用于判斷實(shí)驗(yàn)組相對(duì)于對(duì)照組是否有明顯差異的一個(gè)核心指標(biāo)。從實(shí)際應(yīng)用來說，實(shí)驗(yàn)中指標(biāo)一旦確定，經(jīng)常使用的指標(biāo)就是置信區(qū)間 以及 實(shí)驗(yàn)效果是否顯著。那么，如何解讀實(shí)驗(yàn)的顯著性就成了至關(guān)重要的一個(gè)事項(xiàng)了。

顯著性，簡(jiǎn)單來理解就是，實(shí)驗(yàn)的指標(biāo)是否跟對(duì)照組在指標(biāo)在數(shù)值上有“足夠”的區(qū)分度；

如何判斷實(shí)驗(yàn)是否顯著？

顯著性的判斷在實(shí)際的應(yīng)用中非常常見，是屬于應(yīng)用頻率最高的一個(gè)實(shí)驗(yàn)特性了。

一個(gè)概念如果比較難以理解通常比較難以推廣并且不利于記憶。所以理解顯著性，我們先從簡(jiǎn)單容易操作的知識(shí)點(diǎn)說起。

簡(jiǎn)單記憶并理解顯著性，要理解顯著性，只要記住這兩點(diǎn)

1.同向?yàn)檎?，則提升顯著：若關(guān)注指標(biāo)的提升幅度置信區(qū)間（通常95%的置信度）上下限同為正，同時(shí)實(shí)驗(yàn)指標(biāo)與對(duì)照組指標(biāo)提升也是為正，那么就可以認(rèn)為實(shí)驗(yàn)指標(biāo)提升顯著；如下表數(shù)據(jù)顯示。若置信區(qū)間的上下限的兩個(gè)指標(biāo)一個(gè)是正一個(gè)是負(fù)的（如圖2），這個(gè)時(shí)候即使提升指標(biāo)為5.26%是比較大的提升，但是由于置信區(qū)間是[-3%,8], 實(shí)際的整體指標(biāo)從-3%到8%的范圍都是有可能的， 5.26%的提升點(diǎn)正好是在這個(gè)置信區(qū)間里面，你沒有把握說實(shí)驗(yàn)放量之后一定會(huì)是提升的。

2. 同向?yàn)樨?fù)，則效果顯著負(fù)向：若關(guān)注指標(biāo)下降的幅度的置信區(qū)間（通常95%的置信度）上下限同為負(fù)，同時(shí)實(shí)驗(yàn)指標(biāo)與對(duì)照組的指標(biāo)下降也是為負(fù)，那么就可以認(rèn)為實(shí)驗(yàn)指標(biāo)顯著下降。如下表：

3.若置信區(qū)間是一正一負(fù)，則效果不顯著。從置信區(qū)間可以看出，實(shí)際的整體指標(biāo)會(huì)在這個(gè)區(qū)間之內(nèi)都是有可能，所以放量之后不一定顯著下降；但是如果是同為負(fù)的并且實(shí)驗(yàn)指標(biāo)也是負(fù)，就可以比較肯定的說明實(shí)驗(yàn)指標(biāo)顯著下降。

簡(jiǎn)單記憶就是，實(shí)驗(yàn)指標(biāo)區(qū)間上下限同為正，實(shí)驗(yàn)指標(biāo)提升也為正，那么實(shí)驗(yàn)指標(biāo)顯著提升；實(shí)驗(yàn)區(qū)間指標(biāo)上下限同為負(fù)，指標(biāo)也為負(fù)，那么實(shí)驗(yàn)指標(biāo)顯著下降。

• 復(fù)雜的理論：
  

顯著性的解讀，在目前的統(tǒng)計(jì)學(xué)中，通常將閾值發(fā)生幾率小于5%的事件稱之為“不可能事件“，統(tǒng)計(jì)分析中，習(xí)慣上把α＜0.05的概率，稱為具有“顯著性”。常用的檢驗(yàn)方式有Z檢驗(yàn)和T檢驗(yàn)。

由于實(shí)際的理論還是比較復(fù)雜的，這里篇幅有限，目前暫時(shí)按下不表，后面看情況再定是否要單獨(dú)分享下我的理解。如果有興趣的同學(xué)可以去看下《概率論與數(shù)理統(tǒng)計(jì)》（第四版）盛驟主編，上海交通大學(xué)出版社出版的版本里面的第八章“假設(shè)檢驗(yàn)”里有詳細(xì)的描述顯著性的計(jì)算和證明。

七、實(shí)驗(yàn)流量分流與用戶分層

• 實(shí)驗(yàn)流量分流原則：

我們所做的實(shí)驗(yàn)，都是通過抽樣來完成，那么抽樣的用戶分布盡可能的接近總體用戶分布，這樣實(shí)驗(yàn)結(jié)果就越能反饋實(shí)際的效果。所以針對(duì)流量分流有幾個(gè)原則

1. 均勻，即兩個(gè)實(shí)驗(yàn)里面的用戶的抽樣要盡可能的分布均勻，屬性一致。比如地域，城市，年齡，男女比例，操作系統(tǒng)等等。如果分布不均勻，就很容易出現(xiàn)“辛普森悖論”。

2. 隨機(jī)，在滿足均勻和實(shí)驗(yàn)需求的情況下，對(duì)于用戶的抽樣應(yīng)該盡可能的隨機(jī)。目前互聯(lián)網(wǎng)上比較常規(guī)的做法是使用HASH 算法根據(jù)用戶的某個(gè)ID（通常是設(shè)備號(hào)，用戶ID）進(jìn)行取模，選取其中的一部分進(jìn)行抽樣。

3.樣本充足，樣本過小會(huì)使得實(shí)驗(yàn)數(shù)據(jù)波動(dòng)過大從而不置信或者導(dǎo)致實(shí)驗(yàn)周期過長(zhǎng)，最終影響實(shí)驗(yàn)的分析效率。不過大型的互聯(lián)網(wǎng)公司的產(chǎn)品DAU都上千萬，抽樣2%或者5%已經(jīng)比較多了，通常不會(huì)有什么問題。若有，可以從這個(gè)網(wǎng)站上看看至少該抽樣多少：https://www.evanmiller.org/ab-testing/sample-size.html。

 樣本分流之后，如果實(shí)驗(yàn)用戶只有一層，那么你同時(shí)可以做的實(shí)驗(yàn)非常得少。拿廣告來說，有針對(duì)樣式形態(tài)的實(shí)驗(yàn)，有針對(duì)廣告位置策略的實(shí)驗(yàn)，有針對(duì)預(yù)估模型的實(shí)驗(yàn)。如果實(shí)驗(yàn)流量只有一層，在一些實(shí)驗(yàn)放量10%的情況下，一層的流量只能同時(shí)開展10個(gè)實(shí)驗(yàn)。這個(gè)實(shí)驗(yàn)的效率是非常低的。因此就有了用戶分層的邏輯。

• 用戶分層有兩個(gè)原則：

1.正交分層：同一份流量可以分多個(gè)實(shí)驗(yàn)層，主要保證每一層的實(shí)驗(yàn)用戶都均勻的分布到另外的實(shí)驗(yàn)層里，達(dá)到用戶“正交”的效果。

所謂的正交分層，其實(shí)可以理解為互不影響的流量分層，從而實(shí)驗(yàn)流量復(fù)用的效果。

“正交”從字面上理解就是垂直不互相干擾的意思，實(shí)際上是上一層每一個(gè)實(shí)驗(yàn)的影響均勻的分布到下一層里面，使得效果互相抵消，從而不影響下一層的實(shí)驗(yàn)評(píng)估，這句話才是重點(diǎn)。實(shí)際上每一層的影響都會(huì)對(duì)另外一層有效果，只是用戶分層的時(shí)候通均勻影響下一層的流量，使得最終互相抵消。用圖形表達(dá)，如下圖，一共有兩個(gè)實(shí)驗(yàn)層，分別是UI層和策略層，在UI層啟動(dòng)了兩個(gè)優(yōu)化UI樣式的實(shí)驗(yàn)分別是藍(lán)色和白色的實(shí)驗(yàn)，當(dāng)UI層的兩個(gè)實(shí)驗(yàn)，分別均勻分布到策略層下面的50%的實(shí)驗(yàn)的時(shí)候，UI層的實(shí)驗(yàn)的影響就會(huì)相互抵消。從而，使得在策略層做實(shí)驗(yàn)的時(shí)候，就可以單獨(dú)考慮策略層因素的影響效果。

•  實(shí)驗(yàn)分層方式

  
  

實(shí)驗(yàn)流量的分層根據(jù)業(yè)務(wù)的需求通常有多種的劃分方法，理論上一個(gè)流量可以劃分N個(gè)層。如下圖是一種流量分層的結(jié)構(gòu)，其中一個(gè)是貫穿層，用于進(jìn)行某些對(duì)所有功能都有影響的運(yùn)營(yíng)活動(dòng)或者能力，比如春節(jié)的紅包運(yùn)營(yíng)，由于活動(dòng)是整體的，對(duì)UI，策略，內(nèi)容等模塊都會(huì)配合修改，因此要評(píng)估春節(jié)紅包活動(dòng)的時(shí)候就會(huì)使用貫穿層來評(píng)估。而剩余的流量，則會(huì)劃分為多個(gè)層，比如UI層，推薦策略層，內(nèi)容模塊層等。

2. 不同的實(shí)驗(yàn)層，邏輯要互斥。

簡(jiǎn)單來說就是，不同的業(yè)務(wù)邏輯需要放同不同的層，同時(shí)相同的業(yè)務(wù)邏輯只能在同一層進(jìn)行。比如，廣告的實(shí)驗(yàn)，調(diào)整樣式形態(tài)和文案的，只能放在同一層里面進(jìn)行實(shí)驗(yàn)。如果有兩個(gè)層都進(jìn)行樣式形態(tài)或者文案的調(diào)整，那么這兩個(gè)層就會(huì)相互影響。

再直白點(diǎn)說就是，一個(gè)用戶ID的請(qǐng)求，會(huì)同時(shí)命中多個(gè)實(shí)驗(yàn)ID，如果存在兩個(gè)相同的邏輯在不同的層，就會(huì)導(dǎo)致邏輯混亂，開發(fā)同學(xué)在處理邏輯的時(shí)候發(fā)現(xiàn)有兩個(gè)實(shí)驗(yàn)ID的邏輯都是調(diào)整廣告樣式，一個(gè)是調(diào)整為動(dòng)態(tài)，一個(gè)調(diào)整為靜態(tài)，最終只能有一個(gè)生效，就會(huì)出現(xiàn)邏輯混亂。

八、單一因素原則

“The last but not the least”，我們?cè)谧鰧?shí)驗(yàn)的時(shí)候，需要確保每一個(gè)實(shí)驗(yàn)的評(píng)估的因素都是單一因素。即一次實(shí)驗(yàn)不要糅合多個(gè)影響因素，否則會(huì)導(dǎo)致實(shí)驗(yàn)效果難以區(qū)分是哪個(gè)因素的影響。