建站
咨詢
售后
建站咨詢
新聞中心
Pandas對數(shù)據(jù)科學(xué)界來說是一份天賜的禮物。問任何一個數(shù)據(jù)科學(xué)家，他們喜歡如何使用Python處理他們的數(shù)據(jù)集，他們無疑會談到Pandas。
Pandas是一個偉大的編程庫的縮影：簡單、直觀、功能廣泛。
然而，對數(shù)據(jù)科學(xué)家的一項常規(guī)任務(wù)，使用Pandas進(jìn)行數(shù)千甚至數(shù)百萬次的計算，仍然是一個挑戰(zhàn)。你不能只是將數(shù)據(jù)放入，編寫Python for循環(huán)，然后期望在合理的時間內(nèi)處理數(shù)據(jù)。
Pandas是為一次性處理整個行或列的矢量化操作而設(shè)計的—循環(huán)遍歷每個單元格、行或列并不是這個庫的設(shè)計用途。因此，在使用Pandas時，你應(yīng)該考慮到矩陣操作是高度并行化的。
本指南將教你如何使用Pandas的方式，它被設(shè)計用來使用矩陣運(yùn)算。在此過程中，我將向你展示一些實用的節(jié)省時間的技巧和技巧，它們將使你的Pandas代碼運(yùn)行得比那些可怕的Python for循環(huán)快得多!
設(shè)置
在本教程中，我們將使用經(jīng)典的鳶尾花數(shù)據(jù)集。我們通過使用seaborn加載數(shù)據(jù)集并打印出前5行來開始。
現(xiàn)在讓我們建立一個基線，用Python for循環(huán)來測量我們的速度。我們將通過循環(huán)遍歷每一行來設(shè)置要在數(shù)據(jù)集上執(zhí)行的計算，然后測量整個操作的速度。這將為我們提供一個基準(zhǔn)，看看我們的新優(yōu)化能在多大程度上幫助我們加速。
在上面的代碼中，我們創(chuàng)建了一個基本函數(shù)，它使用If-Else語句根據(jù)花瓣的長度選擇花的類。我們編寫了一個for循環(huán)，通過循環(huán)dataframe對每一行使用這個函數(shù)，然后測量循環(huán)的總運(yùn)行時間。
在我的i7-8700k計算機(jī)上，循環(huán)運(yùn)行5次平均需要0.01345秒。
使用.iterrows()來實現(xiàn)循環(huán)
我們可以立即做的最簡單但非常有價值的加速是使用Pandas的內(nèi)置 .iterrows()函數(shù)。
在上一節(jié)中編寫for循環(huán)時，我們使用了 range()函數(shù)。然而，當(dāng)我們在Python中對大范圍的值進(jìn)行循環(huán)時，生成器往往要快得多。在本文中(https://towardsdatascience.com/5-advancedfeaturesof-python-and-how-use-them-73bffa373c84)，你可以閱讀更多關(guān)于生成器如何工作的信息，并加快運(yùn)行速度。
Pandas中的 .iterrows()函數(shù)在內(nèi)部實現(xiàn)了一個生成器函數(shù)，它將在每次迭代中“生成”一行數(shù)據(jù)。更準(zhǔn)確地說， .iterrows()為DataFrame中的每一行生成(index, Series) 的對(元組)。這實際上與在原始Python中使用類似于 enumerate()的東西是一樣的，但是運(yùn)行速度要快得多。
下面我們修改了代碼，使用 .iterrows()替常規(guī)的for循環(huán)。在我上一節(jié)測試所用的同一臺機(jī)器上，平均運(yùn)行時間為0.005892秒—提高了2.28倍!
使用.apply()完全丟掉循環(huán)
.iterrows()函數(shù)極大地提高了速度，但還遠(yuǎn)遠(yuǎn)不夠。請始終記住，當(dāng)使用為向量操作設(shè)計的庫時，可能有一種方法可以在完全沒有for循環(huán)的情況下很高效地完成任務(wù)。
提供這種功能的Pandas函數(shù)是 .apply()函數(shù)。我們的函數(shù) .apply()接受另一個函數(shù)作為它的輸入，并沿著DataFrame的軸(行、列等)應(yīng)用它。在傳遞函數(shù)的這種情況下，lambda通?？梢苑奖愕貙⑺袃?nèi)容打包在一起。
在下面的代碼中，我們已經(jīng)完全用 .apply()和lambda函數(shù)替換了for循環(huán)來封裝我們想要的計算。在我的機(jī)器上，這段代碼的平均運(yùn)行時間是0.0020897秒—比原來的for循環(huán)快6.44倍。
.apply()之所以要快得多，是因為它在內(nèi)部嘗試遍歷Cython迭代器。如果你的函數(shù)恰好為Cython進(jìn)行了很好的優(yōu)化， .apply()將使你的速度更快。額外的好處是，使用內(nèi)置函數(shù)可以生成更干凈、更可讀的代碼。
最后是使用cut
前面我提到過，如果你正在使用一個為向量化操作設(shè)計的庫，那么你應(yīng)該始終尋找一種不使用for循環(huán)進(jìn)行任何計算的方法。
類似地，許多以這種方式設(shè)計的庫，包括Pandas，都具有方便的內(nèi)置函數(shù)，可以執(zhí)行你正在尋找的精確計算—但是速度更快。
Pandas的 .cut()函數(shù)接受一組 bins為輸入，其中定義每個If-Else的范圍，以及一組 labels作為輸入，其中定義為每個范圍返回哪個值。然后，它執(zhí)行與我們用 compute_class()函數(shù)手動編寫的操作完全相同的操作。
查看下面的代碼，看看 .cut()是如何工作的。我們又一次得到了更干凈、更可讀的代碼。最后， .cut()函數(shù)平均運(yùn)行0.001423秒—比原來的for循環(huán)快了9.39倍!
當(dāng)前標(biāo)題：如何使Pandas來加速你的代碼？
當(dāng)前網(wǎng)址：http://www.dlmjj.cn/article/coecehh.html
