建站
咨詢
售后
建站咨詢
新聞中心
所有編程語言都離不開循環(huán)。因此，默認(rèn)情況下，只要有重復(fù)操作，我們就會開始執(zhí)行循環(huán)。但是當(dāng)我們處理大量迭代（數(shù)百萬/十億行）時，使用循環(huán)是一種犯罪。您可能會被困幾個小時，后來才意識到它行不通。這就是在 python 中實(shí)現(xiàn)矢量化變得非常關(guān)鍵的地方。
什么是矢量化？
矢量化是在數(shù)據(jù)集上實(shí)現(xiàn) (NumPy) 數(shù)組操作的技術(shù)。在后臺，它將操作一次性應(yīng)用于數(shù)組或系列的所有元素（不同于一次操作一行的“for”循環(huán)）。
接下來我們使用一些用例來演示什么是矢量化。
求數(shù)字之和
##使用循環(huán)
import time
start = time.time()
# iterative sum
total = 0
# iterating through 1.5 Million numbers
for item in range(0, 1500000):
total = total + item
print('sum is:' + str(total))
end = time.time()
print(end - start)
#1124999250000
#0.14 Seconds
## 使用矢量化
import numpy as np
start = time.time()
# vectorized sum - using numpy for vectorization
# np.arange create the sequence of numbers from 0 to 1499999
print(np.sum(np.arange(1500000)))
end = time.time()
print(end - start)
##1124999250000
##0.008 Seconds
與使用范圍函數(shù)的迭代相比，矢量化的執(zhí)行時間減少了約 18 倍。在使用 Pandas DataFrame 時，這種差異將變得更加顯著。
數(shù)學(xué)運(yùn)算
在數(shù)據(jù)科學(xué)中，在使用 Pandas DataFrame 時，開發(fā)人員使用循環(huán)通過數(shù)學(xué)運(yùn)算創(chuàng)建新的派生列。
在下面的示例中，我們可以看到對于此類用例，用矢量化替換循環(huán)是多么容易。
DataFrame 是行和列形式的表格數(shù)據(jù)。
我們創(chuàng)建一個具有 500 萬行和 4 列的 pandas DataFrame，其中填充了 0 到 50 之間的隨機(jī)值。
import numpy as np
import pandas as pd
df = pd.DataFrame(np.random.randint( 0 , 50 , size=( 5000000 , 4 )), columns=( 'a' , 'b' , 'c' , 'd ' ))
df.shape
# (5000000, 5)
df.head()
創(chuàng)建一個新列“ratio”來查找列“d”和“c”的比率。
## 循環(huán)遍歷
import time
start = time.time()
# 使用 iterrows 遍歷 DataFrame
for idx, row in df.iterrows():
# 創(chuàng)建一個新列
df.at[idx, 'ratio' ] = 100 * (row[ "d" ] / row[ "c" ])
end = time.time()
print (end - start)
### 109 秒
## 使用矢量化
start = time.time()
df[ "ratio" ] = 100 * (df[ "d" ] / df[ "c" ])
end = time.time()
print (end - start)
### 0.12 秒
我們可以看到 DataFrame 的顯著改進(jìn)，與Python 中的循環(huán)相比，矢量化操作所花費(fèi)的時間幾乎快 1000 倍。
If-else 語句
我們實(shí)現(xiàn)了很多需要我們使用“If-else”類型邏輯的操作。我們可以輕松地將這些邏輯替換為 python 中的矢量化操作。
讓我們看下面的例子來更好地理解它（我們將使用我們在用例 2 中創(chuàng)建的 DataFrame）：
想象一下，我們要根據(jù)現(xiàn)有列“a”上的某些條件創(chuàng)建一個新列“e”
## 使用循環(huán)
import time
start = time.time()
# 使用 iterrows 遍歷 DataFrame
for idx, row in df.iterrows():
if row.a == 0 :
df.at[idx, 'e' ] = row.d
elif ( row.a <= 25 ) & (row.a > 0 ):
df.at[idx, 'e' ] = (row.b)-(row.c)
else :
df.at[idx, 'e' ] = row.b + row.c
end = time.time()
print (end - start)
### 耗時：166 秒
## 矢量化
start = time.time()
df[ 'e' ] = df[ 'b' ] + df[ 'c' ]
df.loc[df[ 'a' ] <= 25 , 'e' ] = df [ 'b' ] -df[ 'c' ]
df.loc[df[ 'a' ]== 0 , 'e' ] = df[ 'd' ]end = time.time()
打印（結(jié)束 - 開始）
## 0.29007707595825195 秒
與使用 if-else 語句的 python 循環(huán)相比，向量化操作所花費(fèi)的時間快 600 倍。
解決機(jī)器學(xué)習(xí)/深度學(xué)習(xí)網(wǎng)絡(luò)
深度學(xué)習(xí)要求我們解決多個復(fù)雜的方程式，而且需要解決數(shù)百萬和數(shù)十億行的問題。在 Python 中運(yùn)行循環(huán)來求解這些方程式非常慢，矢量化是最佳解決方案。
例如，計算以下多元線性回歸方程中數(shù)百萬行的 y 值：
我們可以用矢量化代替循環(huán)。
m1、m2、m3……的值是通過使用與 x1、x2、x3……對應(yīng)的數(shù)百萬個值求解上述等式來確定的
import numpy as np
# 設(shè)置 m 的初始值
m = np.random.rand( 1 , 5 )
# 500 萬行的輸入值
x = np.random.rand( 5000000 , 5 )
## 使用循環(huán)
import numpy as np
m = np.random.rand(1,5)
x = np.random.rand(5000000,5)
total = 0
tic = time.process_time()
for i in range(0,5000000):
total = 0
for j in range(0,5):
total = total + x[i][j]*m[0][j]
zer[i] = total
toc = time.process_time()
print ("Computation time = "+ str ((toc - tic)) + "seconds" )
####計算時間 = 27.02 秒
## 矢量化
tic = time.process_time()
#dot product
np.dot(x,mT)
toc = time.process_time()
print ( "計算時間 = " + str ((toc - tic)) + "seconds" )
####計算時間 = 0.107 秒
np.dot 在后端實(shí)現(xiàn)向量化矩陣乘法。與 Python 中的循環(huán)相比，它快 165 倍。
結(jié)論
python 中的矢量化速度非?？欤瑹o論何時我們處理非常大的數(shù)據(jù)集，都應(yīng)該優(yōu)先于循環(huán)。
隨著時間的推移開始實(shí)施它，您將習(xí)慣于按照代碼的矢量化思路進(jìn)行思考。
本文名稱：python中使用矢量化替換循環(huán)
鏈接分享：http://www.dlmjj.cn/article/cogdosc.html
