建站
咨詢
售后
建站咨詢
新聞中心
深度學(xué)習(xí)是近年來(lái)領(lǐng)域的熱門(mén)技術(shù)之一。在傳統(tǒng)機(jī)器學(xué)習(xí)中，我們需要將數(shù)據(jù)集進(jìn)行特征提取并進(jìn)行標(biāo)記，再通過(guò)訓(xùn)練算法來(lái)得到一個(gè)分類器或回歸器。這種方法的缺點(diǎn)是需要人工處理大量的數(shù)據(jù)，并且存在過(guò)擬合的問(wèn)題。而深度學(xué)習(xí)則可以直接對(duì)輸入的原始數(shù)據(jù)進(jìn)行學(xué)習(xí)，無(wú)需手工特征提取。但是，深度學(xué)習(xí)的關(guān)鍵在于負(fù)樣本數(shù)據(jù)庫(kù)的構(gòu)建和管理。
創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比洞頭網(wǎng)站開(kāi)發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式洞頭網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋洞頭地區(qū)。費(fèi)用合理售后完善，10多年實(shí)體公司更值得信賴。
負(fù)樣本是指不屬于我們所需要分類的目標(biāo)的樣本。在深度學(xué)習(xí)中，我們需要使用大量的負(fù)樣本來(lái)減少模型的偏差和提高模型的泛化能力。通常情況下，我們會(huì)從大量的未標(biāo)記數(shù)據(jù)中隨機(jī)采集一部分樣本作為負(fù)樣本。但這種隨機(jī)采集的方法存在一定的問(wèn)題，可能導(dǎo)致采樣中出現(xiàn)偏差，影響模型的訓(xùn)練效果。
為了解決這個(gè)問(wèn)題，我們需要構(gòu)建一個(gè)負(fù)樣本數(shù)據(jù)庫(kù)。這個(gè)數(shù)據(jù)庫(kù)需要包含大量的代表性的負(fù)樣本，以提高模型的泛化能力。同時(shí)，對(duì)于不同的任務(wù)，我們需要不同的負(fù)樣本數(shù)據(jù)庫(kù)。比如，在人臉識(shí)別任務(wù)中，我們需要一個(gè)包含大量非人臉圖像的數(shù)據(jù)庫(kù)。
構(gòu)建一個(gè)負(fù)樣本數(shù)據(jù)庫(kù)需要一定的努力和時(shí)間。一種方法是通過(guò)人工篩選和標(biāo)記。但這種方法過(guò)于耗費(fèi)人力物力，且耗時(shí)長(zhǎng)，不適用于大規(guī)模深度學(xué)習(xí)任務(wù)。因此，我們需要探索更高效的方法。
一種可行的方法是使用爬蟲(chóng)技術(shù)從互聯(lián)網(wǎng)上收集大量的未標(biāo)記數(shù)據(jù)，并使用一些已有的分類器來(lái)過(guò)濾掉屬于我們所需要分類的目標(biāo)數(shù)據(jù)。這種方法比較高效，但也存在一定的問(wèn)題。比如，爬取到的數(shù)據(jù)可能存在版權(quán)問(wèn)題，涉及隱私等問(wèn)題。因此，我們?cè)谂老x(chóng)時(shí)需要注意合法性問(wèn)題。
另一個(gè)問(wèn)題是數(shù)據(jù)庫(kù)的管理。一個(gè)負(fù)樣本數(shù)據(jù)庫(kù)通常包含大量的數(shù)據(jù)，這些數(shù)據(jù)需要按照一定的規(guī)則進(jìn)行分類和管理，以方便后續(xù)的訓(xùn)練和調(diào)用。比如，我們需要將不同類型的負(fù)樣本分別存放在不同的文件夾中，并按照一定的方式進(jìn)行命名。這樣可以提高數(shù)據(jù)的識(shí)別和管理效率。
負(fù)樣本數(shù)據(jù)庫(kù)的構(gòu)建和管理涉及到許多技術(shù)和方法。同時(shí)，我們也需要關(guān)注一些倫理和法律問(wèn)題。但這一步工作的重要性不能被忽略。只有構(gòu)建了一個(gè)代表性的負(fù)樣本數(shù)據(jù)庫(kù)，我們才能保證深度學(xué)習(xí)模型的穩(wěn)定性和泛化能力，實(shí)現(xiàn)更加準(zhǔn)確和有效的數(shù)據(jù)分類和識(shí)別。
相關(guān)問(wèn)題拓展閱讀：
- 使用libsvm 進(jìn)行一對(duì)多的留一法預(yù)測(cè)，出現(xiàn)對(duì)正樣本預(yù)測(cè)全為負(fù)的問(wèn)題
- 【CV論文筆記】Focal Loss for Dense Object Detection（Focal Loss 理解）
使用libsvm 進(jìn)行一對(duì)多的留一法預(yù)測(cè)，出現(xiàn)對(duì)正樣本預(yù)測(cè)全為負(fù)的問(wèn)題
對(duì)于重新描述的問(wèn)題： 看敬胡樣磨拆子lz在做數(shù)模比賽之類的東西。
我想說(shuō)的是，對(duì)于序列數(shù)據(jù)，如果僅從序瞎稿棗列本身，只利用前N天去預(yù)測(cè)后一天的情況（注意是“只”），這個(gè)問(wèn)題幾乎是不可解的，即建模p(x_t)=f(x_{t-1},,x_{t-N}). 沒(méi)有實(shí)際生活中的什么序。
【CV論文筆記】Focal Loss for Dense Object Detection（Focal Loss 理解）
本文主要用于介紹各路大神（包括rbg, kaiming he等）于2023年提出的適用于目標(biāo)領(lǐng)域的一種新的損失函數(shù)。本筆記主要為方便初學(xué)者快速入門(mén)，以及自我回顧。
論文鏈接：
github主頁(yè)：
rbg大神個(gè)人主頁(yè)：
基本目錄如下：
—–之一菇 – 摘要—-
目前最準(zhǔn)確的目標(biāo)檢測(cè)模型就是以兩階段的R-CNN系列為代表的。相比之下，單階段的目標(biāo)檢測(cè)模型雖然在準(zhǔn)確率上依然落后于兩階段的模型，但是其簡(jiǎn)易和速度快的特性毫無(wú)疑問(wèn)具有巨大的潛力。在這篇文章中，我們就深入調(diào)研為什么單階段的模型其準(zhǔn)確率會(huì)不甚理想。在調(diào)研過(guò)程中，我們發(fā)現(xiàn)最主要的一個(gè)問(wèn)題就是在訓(xùn)練過(guò)程中的正負(fù)樣本（背景和真實(shí)目標(biāo)）不均勻。因此，我們?cè)O(shè)計(jì)了一個(gè)新的損失函數(shù)，來(lái)減少那些易于分類的樣本帶來(lái)的損失。我們新的Focal Loss損失函數(shù)重點(diǎn)關(guān)注那些難于被訓(xùn)練的（hard examples），并且盡量避免被那些負(fù)樣本所帶偏。為了驗(yàn)證我們模型的有效性，我們還重新設(shè)計(jì)了一個(gè)新的檢測(cè)器，命名為RetinaNet，我們的實(shí)驗(yàn)表明，運(yùn)用了新的損失函數(shù)以后，我們的RetinaNet在速度上已經(jīng)能夠媲美那些單階段模型，同時(shí)在準(zhǔn)確率上能夠壓制現(xiàn)存所有的兩階段模型（存疑）。
—–第二菇 – 核心思想—-
既然本文把單階段的模型不如多階段的主要?dú)w因于正負(fù)樣本不均衡這件事情，那我們就直接列出原文的觀點(diǎn)。作者認(rèn)為，正負(fù)樣本不均衡將會(huì)導(dǎo)致，
1）training is inefficient as most locations are easy negatives that contribute no useful learning signal
2）en masse, the easy negatives can overwhelm training and lead to degenerate models
還是拿目標(biāo)檢測(cè)的場(chǎng)景來(lái)理解，單階段的目標(biāo)檢測(cè)器通常會(huì)在之一階段產(chǎn)生高達(dá)100k的候選目標(biāo)，其中只有極少數(shù)是正樣本，因此該場(chǎng)景就是一個(gè)典型的正負(fù)樣本不平衡的問(wèn)題（如下圖所示），然后，正樣本和負(fù)樣本又都各自有難易之分，即有些正樣本很容易區(qū)分，有些又很難區(qū)分，因此，正負(fù)樣本又可以分為如下四類，
（注：如果有不明白的，結(jié)合具體的網(wǎng)上盜的一張示意圖明白了【1】）
弄清楚了數(shù)據(jù)分布以后，我們?cè)賮?lái)看損失函數(shù)。我們最常用山哪的在計(jì)算分類的時(shí)候常用的損失就是交叉熵?fù)p失（以二分類為例），
其中 就是模型輸出的概率（y=1），為了方便表述，通常定義，
此時(shí)，
然逗薯碼后，為了解決正負(fù)樣本不平衡的問(wèn)題，很自然的我們都會(huì)添加一個(gè) ，該參數(shù)通常取決于正負(fù)樣本的比例，
當(dāng)然， 只是平衡了正負(fù)樣本對(duì)于最終損失的貢獻(xiàn)度，但對(duì)難易不平衡的事情完全沒(méi)有幫助。事實(shí)上，如上述第二條理由所述，在目標(biāo)檢測(cè)的任務(wù)中，存在著大量的易分樣本，雖然單個(gè)來(lái)看每一個(gè)易分樣本（置信度很高的樣本）帶來(lái)的損失很低，但是如果總的易分樣本數(shù)量過(guò)多的話，積少成多，也會(huì)引領(lǐng)總的損失走向錯(cuò)誤的方向。因此，本文作者也認(rèn)為，模型應(yīng)該重點(diǎn)關(guān)注那些難分的樣本（hard examples），于是據(jù)此理論就提出了一個(gè)新的損失計(jì)算方法，
大家仔細(xì)研究一下這個(gè)公式就會(huì)發(fā)現(xiàn)，
1）當(dāng)樣本被錯(cuò)分的時(shí)候，通常 是會(huì)比較小的，因此我們新加的權(quán)值項(xiàng) 也是接近于1的，意思就是該項(xiàng)損失應(yīng)該都有貢獻(xiàn)；
2）而當(dāng)樣本是正確分類的時(shí)候， 就會(huì)相對(duì)比較大，權(quán)值項(xiàng)也就對(duì)應(yīng)變小了，意思就是該項(xiàng)損失的貢獻(xiàn)是很少的；
因此，最終的Facal Loss就是結(jié)合手茄了上述的2個(gè)點(diǎn)提出的，
這里也貼一張?jiān)撐闹械膱D，作者發(fā)現(xiàn) 的時(shí)候效果更佳～
其實(shí)整一套網(wǎng)絡(luò)架構(gòu)，跟RPN網(wǎng)絡(luò)是比較像的，這里直接貼一張?jiān)撐闹械木W(wǎng)絡(luò)架構(gòu)圖，
這里簡(jiǎn)單提幾個(gè)關(guān)鍵的變化點(diǎn)，
1）其基礎(chǔ)提取圖片特征的模型采用的是ResNet，并且結(jié)合了FPN網(wǎng)絡(luò)，用以構(gòu)建不同層級(jí)對(duì)應(yīng)的特征圖，因此其基本的架構(gòu)（backbone）就是ResNet + FPN的組合。
2）對(duì)應(yīng)每一層級(jí)提出的特征，都會(huì)輸入到2個(gè)結(jié)構(gòu)一摸一樣的子網(wǎng)絡(luò)中（subnetworks），分別用于分類和回歸！倆個(gè)子網(wǎng)絡(luò)的架構(gòu)是一樣的，但是參數(shù)是不一樣的（sharing a common structure, use separate parameters）。
3）Anchors的設(shè)計(jì)機(jī)制跟RPN中的是相似的，只不過(guò)對(duì)應(yīng)到FPN中，每一層級(jí)特征圖對(duì)應(yīng)的Anchor大小是不一樣的。每一個(gè)層級(jí)對(duì)應(yīng)設(shè)置的Anchor比例為 ，每一種比例對(duì)應(yīng)3種大小尺度 ，因此總的anchors數(shù)為9。
這里貼一張具體的實(shí)驗(yàn)結(jié)果圖，方便以后查看（具體實(shí)驗(yàn)過(guò)程不再闡述），
當(dāng)然作者本文的結(jié)論肯定就是，證明了這種Focal Loss設(shè)計(jì)的有效性了～
—–第三菇 – 總結(jié)—-
到這里，整篇論文的核心思想已經(jīng)說(shuō)清楚了。本論文主要是提出了一個(gè)新的對(duì)于樣本不均衡問(wèn)題的損失函數(shù)的設(shè)計(jì)方法，并實(shí)驗(yàn)證明其可行性，為后續(xù)發(fā)展奠定了基礎(chǔ)。
簡(jiǎn)單總結(jié)一下本文就是先羅列了一下該論文的摘要，再具體介紹了一下本文作者的思路，也簡(jiǎn)單表述了一下，自己對(duì)Focal Loss的理解。希望大家讀完本文后能進(jìn)一步加深對(duì)該論文的理解。有說(shuō)的不對(duì)的地方也請(qǐng)大家指出，多多交流，大家一起進(jìn)步～?
參考文獻(xiàn)：
負(fù)樣本數(shù)據(jù)庫(kù)的介紹就聊到這里吧，感謝你花時(shí)間閱讀本站內(nèi)容，更多關(guān)于負(fù)樣本數(shù)據(jù)庫(kù),深度學(xué)習(xí)中的關(guān)鍵：負(fù)樣本數(shù)據(jù)庫(kù),使用libsvm 進(jìn)行一對(duì)多的留一法預(yù)測(cè)，出現(xiàn)對(duì)正樣本預(yù)測(cè)全為負(fù)的問(wèn)題,【CV論文筆記】Focal Loss for Dense Object Detection（Focal Loss 理解）的信息別忘了在本站進(jìn)行查找喔。
香港服務(wù)器選創(chuàng)新互聯(lián)，2H2G首月10元開(kāi)通。
創(chuàng)新互聯(lián)（www.cdcxhl.com）互聯(lián)網(wǎng)服務(wù)提供商,擁有超過(guò)10年的服務(wù)器租用、服務(wù)器托管、云服務(wù)器、虛擬主機(jī)、網(wǎng)站系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)。專業(yè)提供云主機(jī)、虛擬主機(jī)、域名注冊(cè)、VPS主機(jī)、云服務(wù)器、香港云服務(wù)器、免備案服務(wù)器等。
網(wǎng)站題目：深度學(xué)習(xí)中的關(guān)鍵：負(fù)樣本數(shù)據(jù)庫(kù)(負(fù)樣本數(shù)據(jù)庫(kù))
標(biāo)題鏈接：http://www.dlmjj.cn/article/ccchsdc.html
