建站
咨詢
售后
建站咨詢
新聞中心
導(dǎo)讀
專注于為中小企業(yè)提供成都網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)海港免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了上1000+企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。
本文列舉了5個(gè)將PyTorch應(yīng)用到生產(chǎn)時(shí)容易遇到的5個(gè)錯(cuò)誤操作。
ML是有趣的，ML是受歡迎的，ML無處不在。大多數(shù)公司要么使用TensorFlow，要么使用PyTorch，還有些老家伙喜歡Caffe。
盡管大多數(shù)教程和在線教程使用TensofFlow，但我的大部分經(jīng)驗(yàn)都是使用PyTorch。在這里，我想分享在生產(chǎn)中使用PyTorch最常見的5個(gè)錯(cuò)誤?？紤]過使用CPU嗎？使用多線程？使用更多的GPU內(nèi)存？這些坑我們都踩過。
錯(cuò)誤 #1 — 在推理模式下保存動(dòng)態(tài)圖
如果你以前使用過TensorFlow，那么你可能知道TensorFlow和PyTorch之間的關(guān)鍵區(qū)別 —— 靜態(tài)圖和動(dòng)態(tài)圖。調(diào)試TensorFlow非常困難，因?yàn)槊看文Ｐ透臅r(shí)都要重新構(gòu)建graph。這需要時(shí)間、努力和你的希望。當(dāng)然，TensorFlow現(xiàn)在更好了。
總的來說，為了使調(diào)試更容易，ML框架使用動(dòng)態(tài)圖，這些圖與PyTorch中所謂的Variables有關(guān)。你使用的每個(gè)變量都鏈接到前一個(gè)變量，以構(gòu)建反向傳播的關(guān)系。
下面是它在實(shí)際中的樣子：
在大多數(shù)情況下，你希望在模型訓(xùn)練完成后優(yōu)化所有的計(jì)算。如果你看一下torch的接口，有很多可選項(xiàng)，特別是在優(yōu)化方面。eval模式、detach和no_grad的方法造成了很多混亂。讓我來解釋一下它們是如何工作的。在模型被訓(xùn)練和部署之后，以下是你所關(guān)心的事情：速度、速度和CUDA內(nèi)存溢出異常。
為了加速PyTorch模型，你需要將它切換到eval模式。它通知所有層在推理模式下使用batchnorm和dropout層(簡單地說就是不使用dropout)?，F(xiàn)在，有一個(gè)detach方法可以將變量從它的計(jì)算圖中分離出來。當(dāng)你從頭開始構(gòu)建模型時(shí)，它很有用，但當(dāng)你想重用SOTA的模型時(shí)，它就不太有用了。一個(gè)更全局性的解決方案將是在前向傳播的時(shí)候在上下文中使用torch.no_grad。這樣可以不用在在結(jié)果中存儲(chǔ)圖中變量的梯度，從而減少內(nèi)存消耗。它節(jié)省內(nèi)存，簡化計(jì)算，因此，你得到更多的速度和更少的內(nèi)存使用。
錯(cuò)誤 #2 — 沒有使能cudnn優(yōu)化算法
你可以在nn.Module中設(shè)置很多布爾標(biāo)志，有一個(gè)是你必須知道的。使用cudnn.benchmark = True來對(duì)cudnn進(jìn)行優(yōu)化。通過設(shè)置cudnn.enabled = True，可以確保cudnn確實(shí)在尋找最優(yōu)算法。NVIDIA在優(yōu)化方面為你提供了很多神奇的功能，你可以從中受益。
請(qǐng)注意你的數(shù)據(jù)必須在GPU上，模型輸入大小不應(yīng)該改變。數(shù)據(jù)的形狀的變化越多，可以做的優(yōu)化就越少。例如，要對(duì)數(shù)據(jù)進(jìn)行歸一化，可以對(duì)圖像進(jìn)行預(yù)處理?？傊?，可以有變化，但不要太多。
錯(cuò)誤 #3 — 重用 JIT-compilation
PyTorch提供了一種簡單的方法來優(yōu)化和重用來自不同語言的模型(見Python-To-Cpp)。如果你足夠勇敢，你可能會(huì)更有創(chuàng)造力，并將你的模型嵌入到其他語言中。
JIT-compilation允許在輸入形狀不變的情況下優(yōu)化計(jì)算圖。它的意思是，如果你的數(shù)據(jù)形狀變化不大(參見錯(cuò)誤#2)，JIT是一種選擇。老實(shí)說，和上面提到的no_grad和cudnn相比，它并沒有太大的區(qū)別，但可能有。這只是第一個(gè)版本，有巨大的潛力。
請(qǐng)注意，如果你的模型中有conditions，這在RNNs中很常見，它就沒法用了。
錯(cuò)誤 #4 — 嘗試擴(kuò)展使用CPU
GPU很貴，云虛擬機(jī)也一樣很貴。即使使用AWS，一個(gè)實(shí)例也將花費(fèi)你大約100美元/天(最低價(jià)格是0.7美元/小時(shí))。也許有人會(huì)想“如果我用5個(gè)CPU來代替1個(gè)GPU可以嗎？”。所有試過的人都知道這是一個(gè)死胡同。是的，你可以為CPU優(yōu)化一個(gè)模型，但是最終它還是會(huì)比GPU慢。相信我，我強(qiáng)烈建議忘記這個(gè)想法。
錯(cuò)誤 #5 — 處理向量而不是矩陣
- cudnn - check
- no_grad - check
- GPU with correct version of CUDA - check
- JIT-compilation - check
一切都準(zhǔn)備好了，還能做什么？
現(xiàn)在是時(shí)候使用一點(diǎn)數(shù)學(xué)了。如果你還記得大部分NN是如何用所謂的張量訓(xùn)練的。張量在數(shù)學(xué)上是一個(gè)n維數(shù)組或多線性幾何向量。你能做的就是把輸入(如果你有足夠的時(shí)間的話)分組成張量或者矩陣，然后把它輸入到你的模型中。例如，使用圖像數(shù)組作為發(fā)送到PyTorch的矩陣。性能增益等于同時(shí)傳遞的對(duì)象數(shù)量。
這是一個(gè)顯而易見的解決方案，但是很少有人真正使用它，因?yàn)榇蠖鄶?shù)時(shí)候?qū)ο蠖际且粋€(gè)一個(gè)地處理的，而且在流程上設(shè)置這樣的流可能有點(diǎn)困難。別擔(dān)心，你會(huì)成功的！
新聞標(biāo)題：將PyTorch投入生產(chǎn)的5個(gè)常見錯(cuò)誤
當(dāng)前地址：http://www.dlmjj.cn/article/dhcigio.html
