建站
咨詢
售后
建站咨詢
新聞中心
裝飾器是 python 上下文管理器的特定實(shí)現(xiàn)。本片文章將通過一個(gè)pytorch GPU 調(diào)試的示例來(lái)說(shuō)明如何使用它們。雖然它可能不適用于所有情況，但我它們卻是非常有用。
創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、紫云網(wǎng)絡(luò)推廣、小程序設(shè)計(jì)、紫云網(wǎng)絡(luò)營(yíng)銷、紫云企業(yè)策劃、紫云品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供紫云建站搭建服務(wù)，24小時(shí)服務(wù)熱線：028-86922220，官方網(wǎng)址：www.cdcxhl.com
調(diào)試內(nèi)存泄漏問題
有很多方法可以調(diào)試內(nèi)存泄漏。本文將展示一種識(shí)別代碼中有問題的行的有用方法。該方法可以有助于以簡(jiǎn)潔的方式找到具體的位置。
逐行手動(dòng)調(diào)試
如果遇到問題，一種經(jīng)典的且常用的方法是使用調(diào)試器逐行檢查，比如下面的例子：
- 在搜索引擎查找有關(guān)如何計(jì)算 pytorch 中所有張量總數(shù)的代碼片段，比如：tensor-counter-snippet
- 在代碼中設(shè)置斷點(diǎn)
- 使用tensor-counter-snippet來(lái)獲得張量的總數(shù)統(tǒng)計(jì)
- 使用調(diào)試器執(zhí)行下一步操作
- 重新運(yùn)行 tensor-counter-snippet，并檢查張量計(jì)數(shù)是否增加
- 重復(fù)上面的步驟
它可以工作，但這樣的操作光聽起來(lái)來(lái)就很麻煩。我們可以將其封裝成一個(gè)函數(shù)，這樣可以在需要的時(shí)候調(diào)用，這樣幾乎不需要修改現(xiàn)有的代碼，所以就引出了我們要介紹裝飾器的功能。
Python 裝飾器
裝飾器可以包裝在代碼的任意部分。這里我們通過裝飾器來(lái)完成檢查是否有額外的張量 ，除此以外我們還需要一個(gè)計(jì)數(shù)器，因?yàn)樾枰趫?zhí)行之前和之后計(jì)算張量的數(shù)量。該模式如下所示：
def memleak_wrapper(func):
def wrap(*args, **kwargs):
print("num tensors start is ...")
out = func(*args, **kwargs)
print("num tensors end is ...")
return out
return wrap@memleak_wrapper
def function_to_debug(x):
print(f"put line(s) of code here. Input is {x}")
out = x + 10
return outout = function_to_debug(x=1000)
print(f"out is {out}")
#輸入類似這樣
#num tensors start is ...
#put line(s) of code here. Input is 1000
#num tensors end is ...
#outis 1010
要運(yùn)行這個(gè)代碼，我們就需要將要檢查的代碼行放入函數(shù) (function_to_debug)。但是這不是最好的，因?yàn)槲覀冞€需要手動(dòng)插入很多代碼。另外就是如果代碼塊生成的變量多于一個(gè)，還需要尋找額外的解決方案來(lái)使用這些下游變量。
上下文裝飾器
為了解決上面問題，我們的可以使用上下文管理器來(lái)代替函數(shù)裝飾器。上下文管理器最廣泛使用的示例是使用 with 語(yǔ)句實(shí)例化上下文。以前最常見的就是：
with open("file") as f:
…使用Python的contextlib庫(kù)，Python用戶可以輕松地自己創(chuàng)建上下文管理器。所以本文中我們將使用ContextDecorator完成在上面嘗試使用decorator所做的工作。因?yàn)樗菀组_發(fā)，也更容易使用：
from contextlib import ContextDecorator
class check_memory_leak_context(ContextDecorator):
def __enter__(self):
print('Starting')
return self
def __exit__(self, *exc):
print('Finishing')
return False
ContextDecorator 有2 個(gè)方法：enter() 和 exit() ，當(dāng)我們進(jìn)入或退出上下文時(shí)會(huì)調(diào)用它們。__exit__ 中的 *exc 參數(shù)代表任何傳入的異常。
現(xiàn)在我們來(lái)使用它解決上面說(shuō)的問題。
使用 ContextDecorator 找出內(nèi)存泄漏
因?yàn)橐?jì)算張量的總數(shù)，所以我們將計(jì)算過程封裝成一個(gè)函數(shù) get_n_tensors() ，這樣可以在上下文開始和結(jié)束時(shí)來(lái)計(jì)算張量數(shù)量：
class check_memory_leak_context(ContextDecorator):
def __enter__(self):
self.start = get_n_tensors()
return self def __exit__(self, *exc):
self.end = get_n_tensors()
increase = self.end — self.start
if increase > 0:
print(f”num tensors increased with"\
f"{self.end — self.start} !”)
else:
print(”no added tensors”)
return False
如果有增加，則將其打印到控制臺(tái)。
get_n_tensor()使用垃圾收集器(gc)，是為pytorch定制的，但可以很容易地修改為其他的庫(kù):
import gc
def get_n_tensors():
tensors= []
for obj in gc.get_objects():
try:
if (torch.is_tensor(obj) or
(hasattr(obj, ‘data’) and
torch.is_tensor(obj.data))):
tensors.append(obj)
except:
pass
return len(tensors)
現(xiàn)在就可以使用了，我們對(duì)任何一行(或塊)代碼使用這個(gè)上下文:
x = arbitrary_operation(x)
...
with check_memory_leak_context():
y = x[0].permute(1, 2, 0).cpu().detach().numpy()
x = some_harmless_operation()
...
x = another_arbitrary_operation(x)
如果上下文修飾器包裝的行內(nèi)創(chuàng)建了一個(gè)新的張量，它就會(huì)打印出來(lái)。
總結(jié)
這是一個(gè)非常好的代碼片段，你可以在開發(fā)過程中把它放在一個(gè)單獨(dú)的文件中，下面是本文的完整代碼：
https://gist.github.com/MarkTension/4783697ebd5212ba500cdd829b364338
最后希望這篇小文章能讓你了解什么是上下文管理器，如何使用上下文裝飾器，以及如何將它們應(yīng)用于調(diào)試pytorch。
當(dāng)前文章：使用上下文裝飾器調(diào)試Pytorch的內(nèi)存泄漏問題
文章位置：http://www.dlmjj.cn/article/ccidgje.html
