chinesefreesexvideos高潮,欧美极品少妇性运交,久久久国产一区二区三区,99久久婷婷国产综合精品,成人国产一区二区三区

評(píng)價(jià)指標(biāo)是評(píng)判數(shù)據(jù)表現(xiàn)的衡量標(biāo)準(zhǔn)，它是數(shù)據(jù)分析中非常重要的部分，也是產(chǎn)品經(jīng)理必須掌握的重點(diǎn)內(nèi)容。不同的數(shù)分任務(wù)采用不同的評(píng)價(jià)指標(biāo)，對(duì)于同一種任務(wù)在不同場(chǎng)景下也會(huì)采用不同的評(píng)價(jià)指標(biāo)。

例如在檢測(cè)垃圾郵件這個(gè)場(chǎng)景中，這是一個(gè)典型的二分類(lèi)問(wèn)題，所以可以用精確率和AUC曲線這兩個(gè)指標(biāo)判斷模型的效果；在人臉識(shí)別場(chǎng)景中，使用誤識(shí)率、拒識(shí)率和ROC曲線這三個(gè)指標(biāo)評(píng)判模型的效果。

不同指標(biāo)的著重點(diǎn)不一樣，一個(gè)指標(biāo)在不同場(chǎng)景下適用性可能不一樣，產(chǎn)品經(jīng)理需要學(xué)習(xí)不同指標(biāo)的特性，在項(xiàng)目中根據(jù)實(shí)際需要選擇不同的評(píng)價(jià)指標(biāo)。下文中我們重點(diǎn)講解一些產(chǎn)品經(jīng)理常用的評(píng)價(jià)指標(biāo)。

01 、混淆矩陣

混淆矩陣（Confusion Matrix）是評(píng)價(jià)模型精度的一種標(biāo)準(zhǔn)格式，用一個(gè)N行N列的矩陣形式來(lái)表示。矩陣每一列代表預(yù)測(cè)值，每一行代表實(shí)際值。

從混淆矩陣的名字不難看出來(lái)，它的作用是表明多個(gè)類(lèi)別之間是否有混淆，也就是模型到底判斷對(duì)了多少個(gè)結(jié)果，有多少個(gè)結(jié)果判斷錯(cuò)了。同時(shí)混淆矩陣能夠幫助我們理解準(zhǔn)確率、精確率和召回率的區(qū)別。

面對(duì)一個(gè)二分類(lèi)問(wèn)題時(shí)，通常我們會(huì)將結(jié)果表示為正類(lèi)與負(fù)類(lèi)，兩者可以隨意指定。在上述區(qū)分貓狗圖片的例子中，我們假定貓為正類(lèi)、狗為負(fù)類(lèi)。那么在實(shí)際進(jìn)行預(yù)測(cè)的時(shí)候就會(huì)出現(xiàn)四種情況，如下圖所示： 

混淆矩陣

02、 準(zhǔn)確率

準(zhǔn)確率（Accuracy）是指預(yù)測(cè)正確的樣本占總樣本的比例，即模型找到的真正類(lèi)與真負(fù)類(lèi)與整體預(yù)測(cè)樣本的比例。用公式表示為：

Accuracy=(TP+TN)/(TP+TN+FP+FN)

準(zhǔn)確率的取值范圍為[0,1]，一般情況下取值越大，代表模型預(yù)測(cè)能力越好。

假設(shè)上述貓狗圖片分類(lèi)的例子中，貓狗圖片各有500張。最后模型預(yù)測(cè)的結(jié)果中真正類(lèi)有318個(gè)，真負(fù)類(lèi)有415個(gè)，假正類(lèi)有75個(gè)，假負(fù)類(lèi)有182個(gè)。根據(jù)準(zhǔn)確率的定義可以算出來(lái)目前模型的準(zhǔn)確率為：（318+415）/（1000）=0.73。

準(zhǔn)確率是評(píng)價(jià)模型效果最通用的指標(biāo)之一，描述模型找到“真”類(lèi)別的能力。也就是說(shuō)模型準(zhǔn)確識(shí)別出貓和狗的概率為0.73。但是在使用的時(shí)候有兩點(diǎn)需要我們注意。首先是準(zhǔn)確率沒(méi)有針對(duì)不同類(lèi)別進(jìn)行區(qū)分，最后求得的準(zhǔn)確率對(duì)每個(gè)類(lèi)別而言是平等對(duì)待的，這種評(píng)價(jià)方式在很多場(chǎng)景下是有欠缺的。

在本例中，雖然可以看到模型的整體準(zhǔn)確率是73.30%，但是從結(jié)果中明顯可以看出來(lái)，模型對(duì)于貓的識(shí)別效果遠(yuǎn)不如對(duì)狗的識(shí)別效果。如果我們模型的目的是為了把貓的圖片挑出來(lái)，那么這個(gè)準(zhǔn)確率就有些虛高。

在實(shí)際的病患診斷中，計(jì)算機(jī)診斷出某患者患有癌癥，實(shí)際上卻未患癌癥與計(jì)算機(jī)診斷出某患者未患有癌癥，而實(shí)際上卻患有癌癥這兩種情況的重要性不一樣，不能一概而論。我們需要明確后續(xù)是降低誤診率還是提高確診率，才能讓后續(xù)模型優(yōu)化更有針對(duì)性。

另外在正負(fù)樣本極不平衡的情況下，準(zhǔn)確率這個(gè)指標(biāo)存在很大的缺陷。例如在銀行的全量客戶(hù)中，要尋找適合推薦信托產(chǎn)品的超高凈值客戶(hù)是非常難的。因?yàn)檫@部分人群要求存款較多、收入較高，比較稀少，往往只有萬(wàn)分之一的概率。

如果一個(gè)預(yù)測(cè)客戶(hù)適不適合信托產(chǎn)品的模型用準(zhǔn)確率去評(píng)判，哪怕模型把全部客戶(hù)預(yù)測(cè)成負(fù)類(lèi)，即全部都是不適合的情況，那么這個(gè)模型的精度也有 99% 以上。

但這個(gè)指標(biāo)就失去了原有的意義，因?yàn)闊o(wú)法找到任何高凈值的人群。所以我們一再?gòu)?qiáng)調(diào)，沒(méi)有萬(wàn)能的指標(biāo)，根據(jù)場(chǎng)景選擇合適的指標(biāo)非常重要。

03 、精確率與召回率

精確率（Precision）和召回率（Recall）是一對(duì)好兄弟，雖然是兩個(gè)不同的評(píng)價(jià)指標(biāo)，但它們互相影響，通常一起出現(xiàn)。在很多書(shū)上又把精確率稱(chēng)為查準(zhǔn)率，把召回率稱(chēng)為查全率。

召回率是針對(duì)原始樣本而言的指標(biāo)，它表示原始樣本中的正例有多少被預(yù)測(cè)正確。

原始樣本中的正例有兩種情況，一種是把原來(lái)的正類(lèi)預(yù)測(cè)成正類(lèi)(TP)，另一種就是把原來(lái)的正類(lèi)預(yù)測(cè)為負(fù)類(lèi)(FN)，這兩種情況組成了原始樣本所有的正例。計(jì)算公式為：

Recall=TP/(TP+FN) 

上述模型中識(shí)別貓類(lèi)圖片的召回率為：

318/（318+182）=0.63

從這個(gè)角度可以看出來(lái)總共500張貓的圖片，模型只找對(duì)了318張，相比準(zhǔn)確率而言，召回率更真實(shí)地反應(yīng)了模型的效果。

而精確率是針對(duì)預(yù)測(cè)結(jié)果而言的指標(biāo)，它表示預(yù)測(cè)為正類(lèi)的樣本中有多少是對(duì)的。預(yù)測(cè)結(jié)果為正例有兩種情況，一種就是把正類(lèi)預(yù)測(cè)為正類(lèi)(TP)，另一種就是把負(fù)類(lèi)預(yù)測(cè)為正類(lèi)(FP)。所以精確率的計(jì)算公式為：

Precision=TP/(TP+FP)

即上述模型中識(shí)別貓類(lèi)圖片的精確率為：

318/（318+75）=0.81

從這個(gè)指標(biāo)可以看出來(lái)模型總共把393張圖片預(yù)測(cè)為貓，其中只有318張圖片預(yù)測(cè)正確。所以模型可能存在欠擬合的情況，將部分狗的照片判斷成貓，判斷為正類(lèi)的條件太寬松。下一步優(yōu)化的時(shí)候可以選擇適當(dāng)降低條件以此提高模型效果。如下圖所示可以看出精確率與召回率的區(qū)別： 

精確率與召回率

在理想情況下，我們希望精確率和召回率兩者都越高越好。

然而事實(shí)上這兩者在很多情況下是互相矛盾的。當(dāng)召回率變高時(shí)意味著需要盡可能找到原始樣本的正例，因此模型覆蓋的數(shù)量會(huì)變多，模型就更高的幾率犯錯(cuò)，將原本不屬于該分類(lèi)的樣本也加進(jìn)來(lái)，這就導(dǎo)致精確率下降。

如果我們希望模型盡可能多得找出貓的圖片，我們會(huì)想辦法提高召回率；如果我們希望模型找到的圖片少一點(diǎn)但找出來(lái)的都是貓的圖片，我們會(huì)想辦法提高精確率。

有兩個(gè)很典型的場(chǎng)景可以說(shuō)明這兩個(gè)指標(biāo)實(shí)際運(yùn)用的區(qū)別，一個(gè)是對(duì)于地震的預(yù)測(cè)，我們希望盡可能預(yù)測(cè)到所有的地震，哪怕這些預(yù)測(cè)到的地震中只有少數(shù)真正發(fā)生了地震，在這個(gè)時(shí)候我們就可以犧牲精確率。

寧愿發(fā)出100次警報(bào)，但是把10次真實(shí)的地震都預(yù)測(cè)對(duì)了，也不希望預(yù)測(cè)了10次但是只有8次真實(shí)的地震被預(yù)測(cè)出來(lái)了，因?yàn)橹灰?次地震沒(méi)被發(fā)現(xiàn)都會(huì)造成巨大的損失。因此這是一個(gè)“寧可抓錯(cuò)，不可放過(guò)”的場(chǎng)景。

還有一種是垃圾郵件分類(lèi)的場(chǎng)景，我們希望模型能夠盡可能找到所有垃圾郵件，但是我們更不希望把自己正常的郵件被分到垃圾郵件中，哪怕是一封正常的郵件，這會(huì)對(duì)用戶(hù)造成很?chē)?yán)重的后果。對(duì)于少數(shù)沒(méi)有被識(shí)別出來(lái)的垃圾郵件，其實(shí)用戶(hù)是可以容忍的。

這時(shí)候我們寧可少分類(lèi)成垃圾郵件，但必須確保分的都是對(duì)的，這就是一個(gè)“寧可放過(guò)，不可抓錯(cuò)”的場(chǎng)景。因此在不同的場(chǎng)合中，需要產(chǎn)品經(jīng)理根據(jù)實(shí)際情況，自己判斷希望是精確率比較高或是召回率比較高。

另外精確率和準(zhǔn)確率是比較容易混淆的兩個(gè)評(píng)估指標(biāo)，兩者的核心區(qū)別在于：精確率是一個(gè)二分類(lèi)指標(biāo)，只適用于二分類(lèi)任務(wù)，而準(zhǔn)確率能應(yīng)用于多分類(lèi)任務(wù)。

04 、ROC曲線

在邏輯回歸的分類(lèi)模型里，對(duì)于正負(fù)例的界定，通常會(huì)設(shè)一個(gè)閾值。大于閾值的樣本判定為正類(lèi)，小于閾值的樣本為負(fù)類(lèi)。如果我們減小這個(gè)閾值，會(huì)讓更多的樣本被識(shí)別為正類(lèi)，從而提高了正類(lèi)的識(shí)別率，但同時(shí)也會(huì)使得更多的負(fù)類(lèi)被錯(cuò)誤識(shí)別為正類(lèi)。

直接調(diào)整閾值可以提升或降低模型的精確率和召回率，也就是說(shuō)使用精確率和召回率這對(duì)指標(biāo)進(jìn)行評(píng)價(jià)時(shí)會(huì)使得模型多了“閾值”這樣一個(gè)超參數(shù)，并且這個(gè)超參數(shù)會(huì)直接影響模型的泛化能力。在數(shù)學(xué)上正好存在ROC曲線能夠幫助我們形象化地展示這個(gè)變化過(guò)程。

ROC曲線是一個(gè)畫(huà)在二維平面上的曲線，平面的橫坐標(biāo)是假正類(lèi)率（FalsePositive Rate，簡(jiǎn)稱(chēng)FPR），計(jì)算公式為：

FPR=FP/(FP+TN)

縱坐標(biāo)是真正類(lèi)率（True Positive Rate，簡(jiǎn)稱(chēng)TPR），計(jì)算公式為：

TPR=TP/(TP+FN)

對(duì)于一個(gè)分類(lèi)器而言，每一個(gè)閾值下都會(huì)有一個(gè)FPR和TPR，這個(gè)分類(lèi)器就可以映射成ROC平面上的一個(gè)點(diǎn)。當(dāng)我們調(diào)整這個(gè)分類(lèi)器分類(lèi)時(shí)使用的閾值，就可以得到一個(gè)經(jīng)過(guò)(0,0)，(1, 1)的曲線，這條曲線就是這個(gè)分類(lèi)器的ROC曲線，如下圖所示。 

ROC曲線

從圖中可以看到，所有算法的ROC曲線都在y=x這條線的上方，因?yàn)?em>y=x表示了隨機(jī)的猜測(cè)的概率。所有二分類(lèi)問(wèn)題隨便猜正確或不正確都是50%的準(zhǔn)確率。

一般情況下不存在比隨機(jī)猜測(cè)的準(zhǔn)確率更糟糕的算法，因?yàn)槲覀兛偸强梢詫㈠e(cuò)誤率轉(zhuǎn)換為正確率。如果一個(gè)分類(lèi)器的準(zhǔn)確率是40%，那么將兩類(lèi)的標(biāo)簽互換，準(zhǔn)確率就變?yōu)榱?0%。

從圖中可以看出來(lái)，最理想的分類(lèi)器是到達(dá)(0,1)點(diǎn)的折線，代表模型的準(zhǔn)確率達(dá)到100%，但是這種情況在現(xiàn)實(shí)中是不存在的。如果我們說(shuō)一個(gè)分類(lèi)器A比分類(lèi)器B好，實(shí)際上我們指的是A的ROC曲線能夠完全覆蓋B的ROC曲線。如果有交點(diǎn)，只能說(shuō)明A在某個(gè)場(chǎng)合優(yōu)于B，如下圖所示。 

分類(lèi)器A與分類(lèi)器B的ROC曲線

ROC曲線通常搭配著它對(duì)應(yīng)的比率圖一起使用，我們繼續(xù)用貓狗圖片分類(lèi)的例子說(shuō)明這兩個(gè)圖怎么看。原本我們貓狗的圖片各有500張，如所示圖形的X軸代表預(yù)測(cè)的概率值，Y軸代表觀察的數(shù)量。

假設(shè)我們用一個(gè)新的分類(lèi)器對(duì)圖片進(jìn)行分類(lèi)，分類(lèi)結(jié)果用黑色線代表狗圖片的分布，用灰色代表貓圖片的分布。模型給出的分值越高代表模型判斷這張圖片是貓的把握越大，反之模型的給出的分值越低代表模型判斷這張圖片不是貓的把握越大，也就是說(shuō)這張圖片更有可能是狗。

從下圖中可以看出來(lái)這個(gè)分類(lèi)器的分類(lèi)效果還是挺好的，基本上基本把兩個(gè)物群的分布分開(kāi)，ROC曲線也非?？拷?,1）這個(gè)點(diǎn)。 

某分類(lèi)器下的ROC曲線

如上圖所示，如果將閾值設(shè)為0.3，左邊劃線部分的面積代表模型判斷為狗的圖片數(shù)量有300張左右，并且從圖中可以看出來(lái)這300張圖片全部分類(lèi)正確。

如果將閾值設(shè)為0.5，則左邊劃線部分的面積代表模型判斷為狗的圖片有530張左右，從圖中重疊部分可以看出來(lái)大約有40個(gè)分類(lèi)結(jié)果是包含錯(cuò)誤分類(lèi)的，這些錯(cuò)誤分類(lèi)包括實(shí)際是狗的圖片被分成貓的情況以及實(shí)際是貓的圖片被分類(lèi)成狗的情況。

0.3閾值與0.5閾值下的分類(lèi)結(jié)果

這時(shí)候我們用另外一個(gè)分類(lèi)器再進(jìn)行分類(lèi)，結(jié)果如圖3-16所示。可以看到整個(gè)分類(lèi)結(jié)果向右偏移，同時(shí)模型的效果變差，因?yàn)閮蓚€(gè)分類(lèi)結(jié)果重疊的部分變大，無(wú)論我們把閾值設(shè)在哪里都會(huì)比上一個(gè)分類(lèi)器產(chǎn)生更多的錯(cuò)誤分類(lèi)。

假如這時(shí)我們采用“寧可抓錯(cuò)，不可放過(guò)”的原則把閾值設(shè)置為0.8，則右邊劃線部分只有200個(gè)左右不會(huì)被分類(lèi)為狗的圖片，其余800個(gè)結(jié)果全部會(huì)被判定為狗的圖片，盡管這里面有350個(gè)分類(lèi)結(jié)果是錯(cuò)誤的結(jié)果。 

新的分類(lèi)器下的ROC曲線

從上述例子中看出來(lái)，ROC曲線可以幫助我們從圖像的角度分辨兩個(gè)分類(lèi)結(jié)果的分布情況以及選擇模型合適的閾值。因此也是很多產(chǎn)品經(jīng)理比較喜愛(ài)的指標(biāo)之一。

這時(shí)很多讀者可能會(huì)有疑問(wèn)，既然已經(jīng)有那么多評(píng)價(jià)標(biāo)準(zhǔn)，為什么還要使用ROC呢？

原因在于ROC曲線有個(gè)很好的特性：當(dāng)測(cè)試集中的正負(fù)樣本的分布變換的時(shí)候，ROC曲線能夠保持不變。在實(shí)際的數(shù)據(jù)集中經(jīng)常會(huì)出現(xiàn)樣本類(lèi)不平衡，即正負(fù)樣本比例差距較大，而且測(cè)試數(shù)據(jù)中的正負(fù)樣本也可能隨著時(shí)間變化，使用ROC曲線不管是數(shù)據(jù)集怎么變換，都有直觀的展示效果。

05、 AUC值

ROC曲線一定程度上可以反映分類(lèi)器的分類(lèi)效果，但始終是以圖像的形式，不能告訴我們直接的結(jié)果。我們希望有一個(gè)指標(biāo)，這個(gè)指標(biāo)越大代表模型的效果越好，越小代表模型的效果越差。于是引入了AUC值（Area Under Curve）的概念。

AUC是數(shù)據(jù)分析中最常用的模型評(píng)價(jià)指標(biāo)之一，實(shí)際上AUC代表的含義就是ROC曲線下的面積，如下圖所示，它直觀地反映了ROC曲線表達(dá)的分類(lèi)能力。AUC值通常大于0.5小于1，AUC（面積）越大的分類(lèi)器，性能越好。 

AUC值的圖形展示

AUC值的定義是：從所有正類(lèi)樣本中隨機(jī)選取一個(gè)樣本，再?gòu)乃胸?fù)類(lèi)樣本中隨機(jī)選取一個(gè)樣本，然后分類(lèi)器對(duì)這兩個(gè)隨機(jī)樣本進(jìn)行預(yù)測(cè)，把正類(lèi)樣本預(yù)測(cè)為正類(lèi)的概率為p1，把負(fù)類(lèi)樣本預(yù)測(cè)為正類(lèi)的概率為p0，p1>p0的概率就等于AUC值。

即AUC值是指隨機(jī)給定一個(gè)正樣本和一個(gè)負(fù)樣本，分類(lèi)器輸出該正樣本為正的概率值比分類(lèi)器輸出該負(fù)樣本為正的那個(gè)概率值要大的可能性，AUC值越高代表模型的排序能力越強(qiáng)。理論上，如果模型把所有正樣本排在負(fù)樣本之前，此時(shí)AUC的取值為1，代表模型完全分類(lèi)正確，但這種情況在實(shí)際中不可能出現(xiàn)。

總結(jié)AUC值的四種取值結(jié)果有：

AUC=1時(shí)，代表采用這個(gè)預(yù)測(cè)模型，不管設(shè)定什么閾值都能得出完美預(yù)測(cè)，模型能夠?qū)⑺械恼龢颖径寂旁谪?fù)樣本前面。但是在現(xiàn)實(shí)中不存在完美的分類(lèi)器。

0.5

AUC=0.5時(shí)，代表模型的預(yù)測(cè)效果與隨機(jī)猜測(cè)一樣，只有50%的準(zhǔn)確率。也就是說(shuō)模型完全不能區(qū)分哪些是正樣本哪些是負(fù)樣本，沒(méi)有預(yù)測(cè)價(jià)值。

AUC<0.5時(shí)，代表模型的預(yù)測(cè)效果比隨機(jī)猜測(cè)還差；但只要將樣本正負(fù)例互換，結(jié)果就能優(yōu)于隨機(jī)猜測(cè)。

以上就是今天所有內(nèi)容了，你學(xué)廢了嗎？

 -END-