建站
咨詢
售后
建站咨詢
新聞中心
這篇文章主要介紹了python模型的評估實(shí)例分析的相關(guān)知識，內(nèi)容詳細(xì)易懂，操作簡單快捷，具有一定借鑒價(jià)值，相信大家閱讀完這篇python模型的評估實(shí)例分析文章都會有所收獲，下面我們一起來看看吧。
專注于為中小企業(yè)提供成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)寶興免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了近千家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。
除了使用estimator的score函數(shù)簡單粗略地評估模型的質(zhì)量之外，
在sklearn.metrics模塊針對不同的問題類型提供了各種評估指標(biāo)并且可以創(chuàng)建用戶自定義的評估指標(biāo)，
使用model_selection模塊中的交叉驗(yàn)證相關(guān)方法可以評估模型的泛化能力，能夠有效避免過度擬合。
一，metrics評估指標(biāo)概述
sklearn.metrics中的評估指標(biāo)有兩類：以_score結(jié)尾的為某種得分，越大越好，
以_error或_loss結(jié)尾的為某種偏差，越小越好。
常用的分類評估指標(biāo)包括：accuracy_score,f1_score,
precision_score,recall_score等等。
常用的回歸評估指標(biāo)包括：r2_score,explained_variance_score等等。
常用的聚類評估指標(biāo)包括：adjusted_rand_score,adjusted_mutual_info_score等等。
二，分類模型的評估
模型分類效果全部信息：
confusion_matrix 混淆矩陣,誤差矩陣。
模型整體分類效果：
accuracy 正確率。通用分類評估指標(biāo)。
模型對某種類別的分類效果：
precision 精確率，也叫查準(zhǔn)率。模型不把正樣本標(biāo)錯(cuò)的能力?！安辉┩饕粋€(gè)好人”。
recall 召回率，也叫查全率。模型識別出全部正樣本的能力?！耙步^不放過一個(gè)壞人”。
f1_score F1得分。精確率和召回率的調(diào)和平均值。
利用不同方式將類別分類效果進(jìn)行求和平均得到整體分類效果：
macro_averaged：宏平均。每種類別預(yù)測的效果一樣重要。
micro_averaged：微平均。每一次分類預(yù)測的效果一樣重要。
weighted_averaged：加權(quán)平均。每種類別預(yù)測的效果跟按該類別樣本出現(xiàn)的頻率成正比。
sampled_averaged: 樣本平均。僅適用于多標(biāo)簽分類問題。根據(jù)每個(gè)樣本多個(gè)標(biāo)簽的預(yù)測值和真實(shí)值計(jì)算評測指標(biāo)。然后對樣本求平均。
僅僅適用于概率模型，且問題為二分類問題的評估方法：
ROC曲線
auc_score
三，回歸模型的評估
回歸模型最常用的評估指標(biāo)有：
r2_score(r方，擬合優(yōu)度，可決系數(shù))
explained_variance_score(解釋方差得分)
四，使用虛擬估計(jì)器產(chǎn)生基準(zhǔn)得分
對于監(jiān)督學(xué)習(xí)(分類和回歸)，可以用一些基于經(jīng)驗(yàn)的簡單估計(jì)策略(虛擬估計(jì))的得分作為參照基準(zhǔn)值。
DummyClassifier 實(shí)現(xiàn)了幾種簡單的分類策略:
stratified 通過在訓(xùn)練集類分布方面來生成隨機(jī)預(yù)測.
most_frequent 總是預(yù)測訓(xùn)練集中最常見的標(biāo)簽.
prior 類似most_frequenct，但具有precit_proba方法
uniform 隨機(jī)產(chǎn)生預(yù)測.
constant 總是預(yù)測用戶提供的常量標(biāo)簽.
DummyRegressor 實(shí)現(xiàn)了四個(gè)簡單的經(jīng)驗(yàn)法則來進(jìn)行回歸:
mean 總是預(yù)測訓(xùn)練目標(biāo)的平均值.
median 總是預(yù)測訓(xùn)練目標(biāo)的中位數(shù).
quantile 總是預(yù)測用戶提供的訓(xùn)練目標(biāo)的 quantile（分位數(shù)）.
constant 總是預(yù)測由用戶提供的常數(shù)值.
五，欠擬合，過擬合與交叉驗(yàn)證
在機(jī)器學(xué)習(xí)問題中，經(jīng)常會出現(xiàn)模型在訓(xùn)練數(shù)據(jù)上的得分很高，
但是在新的數(shù)據(jù)上表現(xiàn)很差的情況，這稱之為過擬合overfitting,又叫高方差high variance。
而如果在訓(xùn)練數(shù)據(jù)上得分就很低，這稱之為欠擬合underfitting,又叫高偏差high bias。
留出法
為了解決過擬合問題，常見的方法將數(shù)據(jù)分為訓(xùn)練集和測試集，用訓(xùn)練集去訓(xùn)練模型的參數(shù)，用測試集去測試訓(xùn)練后模型的表現(xiàn)。有時(shí)對于一些具有超參數(shù)的模型(例如svm.SVC的參數(shù)C和kernel就屬于超參數(shù))，還需要從訓(xùn)練集中劃出一部分?jǐn)?shù)據(jù)去驗(yàn)證超參數(shù)的有效性。
交叉驗(yàn)證法
在數(shù)據(jù)數(shù)量有限時(shí)，按留出法將數(shù)據(jù)分成3部分將會嚴(yán)重影響到模型訓(xùn)練的效果。為了有效利用有限的數(shù)據(jù)，可以采用交叉驗(yàn)證cross_validation方法。
交叉驗(yàn)證的基本思想是：以不同的方式多次將數(shù)據(jù)集劃分成訓(xùn)練集和測試集，分別訓(xùn)練和測試，再綜合最后的測試得分。每個(gè)數(shù)據(jù)在一些劃分情況下屬于訓(xùn)練集，在另外一些劃分情況下屬于測試集。
簡單的2折交叉驗(yàn)證：把數(shù)據(jù)集平均劃分成A，B兩組，先用A組訓(xùn)練B組測試，再用B組訓(xùn)練A組測試，所以叫做交叉驗(yàn)證。
常用的交叉驗(yàn)證方法：K折(KFold),留一交叉驗(yàn)證(LeaveOneOut,LOO),留P交叉驗(yàn)證(LeavePOut,LPO),重復(fù)K折交叉驗(yàn)證(RepeatedKFold),隨機(jī)排列交叉驗(yàn)證(ShuffleSplit)。
此外，為了保證訓(xùn)練集中每種標(biāo)簽類別數(shù)據(jù)的分布和完整數(shù)據(jù)集中的分布一致，可以采用分層交叉驗(yàn)證方法(StratifiedKFold，StratifiedShuffleSplit)。
當(dāng)數(shù)據(jù)集的來源有不同的分組時(shí)，獨(dú)立同分布假設(shè)(independent identical distributed:i.i.d)將被打破，可以使用分組交叉驗(yàn)證方法保證訓(xùn)練集的數(shù)據(jù)來自各個(gè)分組的比例和完整數(shù)據(jù)集一致。(GroupKFold,LeaveOneGroupOut,LeavePGroupsOut,GroupShuffleSplit)
對于時(shí)間序列數(shù)據(jù)，一個(gè)非常重要的特點(diǎn)是時(shí)間相鄰的觀測之間的相關(guān)性(自相關(guān)性)，因此用過去的數(shù)據(jù)訓(xùn)練而用未來的數(shù)據(jù)測試非常重要。TimeSeriesSplit可以實(shí)現(xiàn)這樣的分割。
六，交叉驗(yàn)證綜合評分
調(diào)用 cross_val_score 函數(shù)可以計(jì)算模型在各交叉驗(yàn)證數(shù)據(jù)集上的得分。
可以指定metrics中的打分函數(shù)，也可以指定交叉驗(yàn)證迭代器。
cross_validate函數(shù)和cross_val_score函數(shù)類似，但功能更為強(qiáng)大，它允許指定多個(gè)指標(biāo)進(jìn)行評估，并且除返回指定的指標(biāo)外，還會返回一個(gè)fit_time和score_time即訓(xùn)練時(shí)間和評分時(shí)間。
使用cross_val_predict可以返回每條樣本作為CV中的測試集時(shí)，對應(yīng)的模型對該樣本的預(yù)測結(jié)果。
這就要求使用的CV策略能保證每一條樣本都有機(jī)會作為測試數(shù)據(jù)，否則會報(bào)異常。
關(guān)于“python模型的評估實(shí)例分析”這篇文章的內(nèi)容就介紹到這里，感謝各位的閱讀！相信大家對“python模型的評估實(shí)例分析”知識都有一定的了解，大家如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
網(wǎng)頁名稱：python模型的評估實(shí)例分析
文章轉(zhuǎn)載：http://www.dlmjj.cn/article/ghgsdc.html
