chinesefreesexvideos高潮,欧美极品少妇性运交,久久久国产一区二区三区,99久久婷婷国产综合精品,成人国产一区二区三区

APP推廣合作
聯(lián)系“鳥哥筆記小喬”
實(shí)戰(zhàn)干貨|容易被忽視的樣本比例偏差問題
2020-04-23 18:42:45


實(shí)驗(yàn)的樣本比例偏差問題(Sample Ratio Mismatch,SRM)指實(shí)驗(yàn)組和對照組樣本比例偏離預(yù)期,所帶來的對實(shí)驗(yàn)分析結(jié)論的影響。平時大家可能沒有特別關(guān)注SRM問題,但是它在很多環(huán)節(jié)都存在。有時它的差別可以忽略不計,有時卻能夠顛覆實(shí)驗(yàn)結(jié)論。我們先介紹SRM問題可能帶來的影響,接著列舉可能產(chǎn)生SRM問題的原因,以及應(yīng)對方法。


SRM問題的影響



SRM問題的核心,是實(shí)驗(yàn)組和對照組的實(shí)際比例和理論比例有所偏差,而分析時使用的是理論比例,這個偏差就使分析結(jié)果失真,嚴(yán)重時會得到錯誤結(jié)論。比如,我們選取一個人群按照50%/50%的比例設(shè)計了實(shí)驗(yàn)組和對照組,這時的理論樣本比例為1.0/1.0;假設(shè)實(shí)驗(yàn)下發(fā)過程中因?yàn)槟撤N原因,部分的對照組也被策略影響(或污染)到了,使得實(shí)際的樣本比例是1.05/0.95。這會造成什么后果?


如前面實(shí)驗(yàn)分析的文章所說,在分析效果時,需要以理論的樣本比例為基礎(chǔ),來對比實(shí)驗(yàn)組與對照組的指標(biāo)之差。也就是說,沒做實(shí)驗(yàn)時,這個指標(biāo)差應(yīng)該是0,做了實(shí)驗(yàn)它會偏離0,這個偏離值大小就是實(shí)驗(yàn)帶來的影響。這個例子中,便于理解不妨把實(shí)驗(yàn)前各組的指標(biāo)都設(shè)為100(可以不用在意是什么),SRM問題的影響可概括如下表:

1 SRM對實(shí)驗(yàn)結(jié)果分析的影響示例

注:有SRM-實(shí)驗(yàn)組的實(shí)驗(yàn)后指標(biāo)為105*1.05=110.25;其中1.05是策略的提升效果


如表1所示,這個例子中SRM問題將實(shí)驗(yàn)效果夸大了兩倍以上,雖然實(shí)際工作中,SRM一般不會如例子中這么明顯,但依然需要注意。比如,實(shí)際樣本比例是1.01/0.99,上述例子中實(shí)驗(yàn)效果偏差依然可以達(dá)到41%;而實(shí)際樣本比例低至1.001/0.999,實(shí)驗(yàn)效果偏差也還有0.2%左右(感興趣的同學(xué)可以自行計算)。判斷樣本偏差是否顯著,可以使用卡方檢驗(yàn);而造成SRM問題的原因很多,也可能遍及實(shí)驗(yàn)各主要環(huán)節(jié),下一小節(jié)將詳細(xì)介紹。

 

SRM問題如何產(chǎn)生



SRM問題存在于實(shí)驗(yàn)部署、執(zhí)行、數(shù)據(jù)采集、實(shí)驗(yàn)分析等主要環(huán)節(jié),以及實(shí)驗(yàn)時的外部干擾。這五個原因,來自一篇SRM論文的概括,我結(jié)合實(shí)踐經(jīng)驗(yàn)給出如下一些理解,如果大家對全文感興趣可以進(jìn)一步細(xì)讀(文末參考文獻(xiàn))。


1 實(shí)驗(yàn)部署

實(shí)驗(yàn)部署階段,涉及到分層、分組的隨機(jī)算法的性能和穩(wěn)定性。包含但不限于能否完成理想的正交分層,能否完成大量、實(shí)時的隨機(jī)分組,能否在一段時間后依然保持這種效率。這算是SRM問題產(chǎn)生的主要根源。此外,一些實(shí)時服務(wù)的Bug,也會導(dǎo)致分組不符合預(yù)期,實(shí)驗(yàn)平臺在有重要迭代或修改后,尤其需要測試是否對分層分組產(chǎn)生影響。


2 實(shí)驗(yàn)執(zhí)行

實(shí)驗(yàn)部署完畢,下一步就需要下發(fā)策略,而下發(fā)策略需要對齊時機(jī)。假設(shè)客戶端需要給用戶展示兩套UI,這個策略需要同時對實(shí)驗(yàn)組和對照組來下發(fā),以避免下發(fā)時機(jī)不同帶來的偏差。如果實(shí)驗(yàn)組下發(fā)完,再下發(fā)對照組,很可能兩個時間段網(wǎng)絡(luò)情況不一致、用戶活躍度有差異,引發(fā)很多不必要的變量,最終會體現(xiàn)到實(shí)際樣本比例的偏差上。


即使是同時下發(fā),也需要注意避免引入“不必要的過濾條件”,比如我們經(jīng)常會遇到的實(shí)驗(yàn)場景,A組下發(fā)某策略、B組不下發(fā),如果實(shí)驗(yàn)具體執(zhí)行時是A組下發(fā)而B組不下發(fā),最后拿A組下發(fā)策略的用戶來和B組對比,可能引入了一個“過濾條件”。因?yàn)锳組并非100%能下發(fā)成功,如果拿A中下發(fā)成功的用戶對比整個B組,可能會出錯。如果A組下發(fā)策略,B組不是不發(fā)而是下發(fā)“空策略”,那么“下發(fā)成功”這一層過濾可以避免掉。


3 數(shù)據(jù)采集

這里主要關(guān)注實(shí)驗(yàn)組和對照組的數(shù)據(jù)上報是否一致、是否準(zhǔn)確,數(shù)據(jù)存取過程是否可靠。這些需要實(shí)驗(yàn)平臺、策略下發(fā)平臺、用戶端產(chǎn)品聯(lián)動來檢查確認(rèn),并且每增加一個需要實(shí)驗(yàn)的功能點(diǎn)、資源位,都需要確保數(shù)據(jù)上報的方式、數(shù)據(jù)質(zhì)量是否能滿足未來實(shí)驗(yàn)分析的要求,即數(shù)據(jù)可比性。


4 實(shí)驗(yàn)分析

分析過程中的SRM問題,類似于前面提到的不滿足“可比性”,即分析時因?yàn)橐恍颖酒畋缓鲆暎岳碚摰臉颖颈壤M(jìn)行分析造成的錯誤。這里具體會涉及到分析起點(diǎn)問題——即選取那兩個人群進(jìn)行對比,一般需要從樣本源頭來分析,保證可比性。這個問題比較寬泛,我們后面結(jié)合一些具體案例繼續(xù)討論。


5 外部干擾

外部干擾通常來自用于實(shí)驗(yàn)設(shè)計之外的不可控因素。比如AB兩套落地頁實(shí)驗(yàn),其中一套不小心被用到了其他活動,分析時,實(shí)際樣本比例就會和理論值有較大的偏差。

 

SRM問題如何應(yīng)對



上面提到的造成SRM的可能原因,可以簡單的分為兩類來處理:哪些是實(shí)驗(yàn)平臺需要克服,哪些是實(shí)驗(yàn)分析需要注意。表2做了簡要的梳理。


主要的SRM問題原因及應(yīng)對方法

SRM問題的產(chǎn)生原因很多,但其最終影響到實(shí)驗(yàn)分析結(jié)果時,都是通過破壞了實(shí)驗(yàn)組和對照組間的“可比性”來實(shí)現(xiàn),和我們之前提到的很多分析錯誤可謂殊途同歸。實(shí)驗(yàn)平臺設(shè)計和實(shí)驗(yàn)分析時,需要針對具體問題來找合適的應(yīng)對方法。


以上是我個人理解,經(jīng)驗(yàn)和能力所限,難免會一些偏差或錯誤,還請指出。


這是尾巴


好了,這就是實(shí)驗(yàn)三部曲之3的下篇,主要供有一些實(shí)驗(yàn)經(jīng)驗(yàn)、或者對實(shí)驗(yàn)感興趣的同學(xué)了解。至此《實(shí)驗(yàn)三部曲》暫告段落,但并不能覆蓋增長實(shí)驗(yàn)中的很多細(xì)節(jié),我們后續(xù)繼續(xù)用這種小篇幅的文章來做單點(diǎn)突破。歡迎對用戶增長實(shí)驗(yàn)感興趣的你,留言分享你認(rèn)為實(shí)驗(yàn)分析中容易被忽視的坑,一周后我會給點(diǎn)贊最高(截至4月29日18點(diǎn))的留言主送去一份神秘禮物。

——

題圖來自網(wǎng)絡(luò)


參考文獻(xiàn):

Diagnosing Sample Ratio Mismatch in Online Controlled Experiments: A Taxonomy and Rules of Thumb for Practitioners

點(diǎn)擊 “閱讀原文” 可以找到PDF下載鏈接



轉(zhuǎn)發(fā)是最大的打賞,在看的你最好看~


運(yùn)營那些事兒
分享到朋友圈
收藏
收藏
評分

綜合評分:

我的評分
Xinstall 15天會員特權(quán)
Xinstall是專業(yè)的數(shù)據(jù)分析服務(wù)商,幫企業(yè)追蹤渠道安裝來源、裂變拉新統(tǒng)計、廣告流量指導(dǎo)等,廣泛應(yīng)用于廣告效果統(tǒng)計、APP地推與CPS/CPA歸屬統(tǒng)計等方面。
20羽毛
立即兌換
一書一課30天會員體驗(yàn)卡
領(lǐng)30天VIP會員,110+門職場大課,250+本精讀好書免費(fèi)學(xué)!助你提升職場力!
20羽毛
立即兌換
順豐同城急送全國通用20元優(yōu)惠券
順豐同城急送是順豐推出的平均1小時送全城的即時快送服務(wù),專業(yè)安全,準(zhǔn)時送達(dá)!
30羽毛
立即兌換
運(yùn)營那些事兒
運(yùn)營那些事兒
發(fā)表文章43451
確認(rèn)要消耗 羽毛購買
實(shí)戰(zhàn)干貨|容易被忽視的樣本比例偏差問題嗎?
考慮一下
很遺憾,羽毛不足
我知道了

我們致力于提供一個高質(zhì)量內(nèi)容的交流平臺。為落實(shí)國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求,為完善跟帖評論自律管理,為了保護(hù)用戶創(chuàng)造的內(nèi)容、維護(hù)開放、真實(shí)、專業(yè)的平臺氛圍,我們團(tuán)隊將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進(jìn)行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容,同時也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。


一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護(hù)法》等法律法規(guī),對以下違法、不良信息或存在危害的行為進(jìn)行處理。
1. 違反法律法規(guī)的信息,主要表現(xiàn)為:
    1)反對憲法所確定的基本原則;
    2)危害國家安全,泄露國家秘密,顛覆國家政權(quán),破壞國家統(tǒng)一,損害國家榮譽(yù)和利益;
    3)侮辱、濫用英烈形象,歪曲、丑化、褻瀆、否定英雄烈士事跡和精神,以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽(yù)、榮譽(yù);
    4)宣揚(yáng)恐怖主義、極端主義或者煽動實(shí)施恐怖活動、極端主義活動;
    5)煽動民族仇恨、民族歧視,破壞民族團(tuán)結(jié);
    6)破壞國家宗教政策,宣揚(yáng)邪教和封建迷信;
    7)散布謠言,擾亂社會秩序,破壞社會穩(wěn)定;
    8)宣揚(yáng)淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪;
    9)煽動非法集會、結(jié)社、游行、示威、聚眾擾亂社會秩序;
    10)侮辱或者誹謗他人,侵害他人名譽(yù)、隱私和其他合法權(quán)益;
    11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式,對未成年人實(shí)施侮辱、誹謗、威脅或者惡意損害未成年人形象進(jìn)行網(wǎng)絡(luò)欺凌的;
    12)危害未成年人身心健康的;
    13)含有法律、行政法規(guī)禁止的其他內(nèi)容;


2. 不友善:不尊重用戶及其所貢獻(xiàn)內(nèi)容的信息或行為。主要表現(xiàn)為:
    1)輕蔑:貶低、輕視他人及其勞動成果;
    2)誹謗:捏造、散布虛假事實(shí),損害他人名譽(yù);
    3)嘲諷:以比喻、夸張、侮辱性的手法對他人或其行為進(jìn)行揭露或描述,以此來激怒他人;
    4)挑釁:以不友好的方式激怒他人,意圖使對方對自己的言論作出回應(yīng),蓄意制造事端;
    5)羞辱:貶低他人的能力、行為、生理或身份特征,讓對方難堪;
    6)謾罵:以不文明的語言對他人進(jìn)行負(fù)面評價;
    7)歧視:煽動人群歧視、地域歧視等,針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊;
    8)威脅:許諾以不良的后果來迫使他人服從自己的意志;


3. 發(fā)布垃圾廣告信息:以推廣曝光為目的,發(fā)布影響用戶體驗(yàn)、擾亂本網(wǎng)站秩序的內(nèi)容,或進(jìn)行相關(guān)行為。主要表現(xiàn)為:
    1)多次發(fā)布包含售賣產(chǎn)品、提供服務(wù)、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式:
    2)單個帳號多次發(fā)布包含垃圾廣告的內(nèi)容;
    3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容;
    4)多次發(fā)布包含欺騙性外鏈的內(nèi)容,如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等,誘騙用戶點(diǎn)擊鏈接
    5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當(dāng)曝光;
    6)購買或出售帳號之間虛假地互動,發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
    7)發(fā)布包含欺騙性的惡意營銷內(nèi)容,如通過偽造經(jīng)歷、冒充他人等方式進(jìn)行惡意營銷;
    8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。


4. 色情低俗信息,主要表現(xiàn)為:
    1)包含自己或他人性經(jīng)驗(yàn)的細(xì)節(jié)描述或露骨的感受描述;
    2)涉及色情段子、兩性笑話的低俗內(nèi)容;
    3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容;
    4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想;
    5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適;
    6)炒作緋聞、丑聞、劣跡等;
    7)宣揚(yáng)低俗、庸俗、媚俗內(nèi)容。


5. 不實(shí)信息,主要表現(xiàn)為:
    1)可能存在事實(shí)性錯誤或者造謠等內(nèi)容;
    2)存在事實(shí)夸大、偽造虛假經(jīng)歷等誤導(dǎo)他人的內(nèi)容;
    3)偽造身份、冒充他人,通過頭像、用戶名等個人信息暗示自己具有特定身份,或與特定機(jī)構(gòu)或個人存在關(guān)聯(lián)。


6. 傳播封建迷信,主要表現(xiàn)為:
    1)找人算命、測字、占卜、解夢、化解厄運(yùn)、使用迷信方式治?。?br />    2)求推薦算命看相大師;
    3)針對具體風(fēng)水等問題進(jìn)行求助或咨詢;
    4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失,包括通過占卜方法問婚姻、前程、運(yùn)勢,東西寵物丟了能不能找回、取名改名等;


7. 文章標(biāo)題黨,主要表現(xiàn)為:
    1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導(dǎo)用戶;
    2)內(nèi)容與標(biāo)題之間存在嚴(yán)重不實(shí)或者原意扭曲;
    3)使用夸張標(biāo)題,內(nèi)容與標(biāo)題嚴(yán)重不符的。


8.「飯圈」亂象行為,主要表現(xiàn)為:
    1)誘導(dǎo)未成年人應(yīng)援集資、高額消費(fèi)、投票打榜
    2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
    3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
    4)以號召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號」形式刷量控評等行為
    5)通過「蹭熱點(diǎn)」、制造話題等形式干擾輿論,影響傳播秩序


9. 其他危害行為或內(nèi)容,主要表現(xiàn)為:
    1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導(dǎo)未成年人不良嗜好影響未成年人身心健康的;
    2)不當(dāng)評述自然災(zāi)害、重大事故等災(zāi)難的;
    3)美化、粉飾侵略戰(zhàn)爭行為的;
    4)法律、行政法規(guī)禁止,或可能對網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。


二、違規(guī)處罰
本網(wǎng)站通過主動發(fā)現(xiàn)和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當(dāng)一個用戶發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴(yán)重程度,對帳號進(jìn)行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當(dāng)涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號,或者濫用多個帳號發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將加重處罰。


三、申訴
隨著平臺管理經(jīng)驗(yàn)的不斷豐富,本網(wǎng)站出于維護(hù)本網(wǎng)站氛圍和秩序的目的,將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議,可以通過「建議反饋」功能向本網(wǎng)站進(jìn)行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)

我知道了
恭喜你~答對了
+5羽毛
下一次認(rèn)真讀哦
成功推薦給其他人
+ 10羽毛
評論成功且進(jìn)入審核!審核通過后,您將獲得10羽毛的獎勵。分享本文章給好友閱讀最高再得15羽毛~
(羽毛可至 "羽毛精選" 兌換禮品)
好友微信掃一掃
復(fù)制鏈接