建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
Python用的好，豬也能飛起來(lái)。
創(chuàng)新互聯(lián)專(zhuān)注于企業(yè)成都全網(wǎng)營(yíng)銷(xiāo)、網(wǎng)站重做改版、恒山網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、HTML5建站、成都做商城網(wǎng)站、集團(tuán)公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)公司、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁(yè)設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性?xún)r(jià)比高，為恒山等各大城市提供網(wǎng)站開(kāi)發(fā)制作服務(wù)。
今天，帶大家學(xué)習(xí)如何讓Python飛起來(lái)的方法，干貨滿(mǎn)滿(mǎn)哦!
python一直被病垢運(yùn)行速度太慢，但是實(shí)際上python的執(zhí)行效率并不慢，慢的是python用的解釋器Cpython運(yùn)行效率太差。
“一行代碼讓python的運(yùn)行速度提高100倍”這絕不是嘩眾取寵的論調(diào)。
我們來(lái)看一下這個(gè)最簡(jiǎn)單的例子，從1一直累加到1億。
最原始的代碼：
- import time
- def foo(x,y):
- tt = time.time()
- s = 0
- for i in range(x,y):
- s += i
- print('Time used: {} sec'.format(time.time()-tt))
- return s
- print(foo(1,100000000))
結(jié)果：
- Time used: 6.779874801635742 sec
- 4999999950000000
我們來(lái)加一行代碼，再看看結(jié)果：
- from numba import jit
- import time
- @jit
- def foo(x,y):
- tt = time.time()
- s = 0
- for i in range(x,y):
- s += i
- print('Time used: {} sec'.format(time.time()-tt))
- return s
- print(foo(1,100000000))
結(jié)果：
- Time used: 0.04680037498474121 sec
- 4999999950000000
是不是快了100多倍呢?
那么下面就分享一下“為啥numba庫(kù)的jit模塊那么牛掰?”
NumPy的創(chuàng)始人Travis Oliphant在離開(kāi)Enthought之后，創(chuàng)建了CONTINUUM，致力于將Python大數(shù)據(jù)處理方面的應(yīng)用。最近推出的Numba項(xiàng)目能夠?qū)⑻幚鞱umPy數(shù)組的Python函數(shù)JIT編譯為機(jī)器碼執(zhí)行，從而上百倍的提高程序的運(yùn)算速度。
Numba項(xiàng)目的主頁(yè)上有Linux下的詳細(xì)安裝步驟。編譯LLVM需要花一些時(shí)間。
Windows用戶(hù)可以從Unofficial Windows Binaries for Python Extension Packages下載安裝LLVMPy、meta和numba等幾個(gè)擴(kuò)展庫(kù)。
下面我們看一個(gè)例子：
- import numba as nb
- from numba import jit
- @jit('f8(f8[:])')
- def sum1d(array):
- s = 0.0
- n = array.shape[0]
- for i in range(n):
- s += array[i]
- return s
- import numpy as np
- array = np.random.random(10000)
- %timeit sum1d(array)
- %timeit np.sum(array)
- %timeit sum(array)
- 10000 loops, best of 3: 38.9 us per loop
- 10000 loops, best of 3: 32.3 us per loop
- 100 loops, best of 3: 12.4 ms per loop
numba中提供了一些修飾器，它們可以將其修飾的函數(shù)JIT編譯成機(jī)器碼函數(shù)，并返回一個(gè)可在Python中調(diào)用機(jī)器碼的包裝對(duì)象。為了能將Python函數(shù)編譯成能高速執(zhí)行的機(jī)器碼，我們需要告訴JIT編譯器函數(shù)的各個(gè)參數(shù)和返回值的類(lèi)型。我們可以通過(guò)多種方式指定類(lèi)型信息，在上面的例子中，類(lèi)型信息由一個(gè)字符串’f8(f8[:])’指定。其中’f8’表示8個(gè)字節(jié)雙精度浮點(diǎn)數(shù)，括號(hào)前面的’f8’表示返回值類(lèi)型，括號(hào)里的表示參數(shù)類(lèi)型，’[:]’表示一維數(shù)組。因此整個(gè)類(lèi)型字符串表示sum1d()是一個(gè)參數(shù)為雙精度浮點(diǎn)數(shù)的一維數(shù)組，返回值是一個(gè)雙精度浮點(diǎn)數(shù)。
需要注意的是，JIT所產(chǎn)生的函數(shù)只能對(duì)指定的類(lèi)型的參數(shù)進(jìn)行運(yùn)算：
- print sum1d(np.ones(10, dtype=np.int32))
- print sum1d(np.ones(10, dtype=np.float32))
- print sum1d(np.ones(10, dtype=np.float64))
- 1.2095376009e-312
- 1.46201599944e+185
- 10.0
如果希望JIT能針對(duì)所有類(lèi)型的參數(shù)進(jìn)行運(yùn)算，可以使用autojit：
- from numba import autojit
- @autojit
- def sum1d2(array):
- s = 0.0
- n = array.shape[0]
- for i in range(n):
- s += array[i]
- return s
- %timeit sum1d2(array)
- print sum1d2(np.ones(10, dtype=np.int32))
- print sum1d2(np.ones(10, dtype=np.float32))
- print sum1d2(np.ones(10, dtype=np.float64))
- 10000 loops, best of 3: 143 us per loop
- 10.0
- 10.0
- 10.0
autoit雖然可以根據(jù)參數(shù)類(lèi)型動(dòng)態(tài)地產(chǎn)生機(jī)器碼函數(shù)，但是由于它需要每次檢查參數(shù)類(lèi)型，因此計(jì)算速度也有所降低。numba的用法很簡(jiǎn)單，基本上就是用jit和autojit這兩個(gè)修飾器，和一些類(lèi)型對(duì)象。下面的程序列出numba所支持的所有類(lèi)型：
- print [obj for obj in nb.__dict__.values() if isinstance(obj, nb.minivect.minitypes.Type)]
- [size_t, Py_uintptr_t, uint16, complex128, float, complex256, void, int , long double,
- unsigned PY_LONG_LONG, uint32, complex256, complex64, object_, npy_intp, const char *,
- double, unsigned short, float, object_, float, uint64, uint32, uint8, complex128, uint16,
- int, int , uint8, complex64, int8, uint64, double, long double, int32, double, long double,
- char, long, unsigned char, PY_LONG_LONG, int64, int16, unsigned long, int8, int16, int32,
- unsigned int, short, int64, Py_ssize_t]
工作原理
numba的通過(guò)meta模塊解析Python函數(shù)的ast語(yǔ)法樹(shù)，對(duì)各個(gè)變量添加相應(yīng)的類(lèi)型信息。然后調(diào)用llvmpy生成機(jī)器碼，***再生成機(jī)器碼的Python調(diào)用接口。
meta模塊
通過(guò)研究numba的工作原理，我們可以找到許多有用的工具。例如meta模塊可在程序源碼、ast語(yǔ)法樹(shù)以及Python二進(jìn)制碼之間進(jìn)行相互轉(zhuǎn)換。下面看一個(gè)例子：
- def add2(a, b):
- return a + b
decompile_func能將函數(shù)的代碼對(duì)象反編譯成ast語(yǔ)法樹(shù)，而str_ast能直觀地顯示ast語(yǔ)法樹(shù)，使用這兩個(gè)工具學(xué)習(xí)Python的ast語(yǔ)法樹(shù)是很有幫助的。
- from meta.decompiler import decompile_func
- from meta.asttools import str_ast
- print str_ast(decompile_func(add2))
- FunctionDef(args=arguments(args=[Name(ctx=Param(),
- id='a'),
- Name(ctx=Param(),
- id='b')],
- defaults=[],
- kwarg=None,
- vararg=None),
- body=[Return(value=BinOp(left=Name(ctx=Load(),
- id='a'),
- op=Add(),
- right=Name(ctx=Load(),
- id='b')))],
- decorator_list=[],
- name='add2')
而python_source可以將ast語(yǔ)法樹(shù)轉(zhuǎn)換為Python源代碼：
- from meta.asttools import python_source
- python_source(decompile_func(add2))
- def add2(a, b):
- return (a + b)
decompile_pyc將上述二者結(jié)合起來(lái)，它能將Python編譯之后的pyc或者pyo文件反編譯成源代碼。下面我們先寫(xiě)一個(gè)tmp.py文件，然后通過(guò)py_compile將其編譯成tmp.pyc。
- with open("tmp.py", "w") as f:
- f.write("""
- def square_sum(n):
- s = 0
- for i in range(n):
- s += i**2
- return s
- """)
- import py_compile
- py_compile.compile("tmp.py")
下面調(diào)用decompile_pyc將tmp.pyc顯示為源代碼：
- with open("tmp.pyc", "rb") as f:
- decompile_pyc(f)
- def square_sum(n):
- s = 0
- for i in range(n):
- s += (i ** 2)
- return s
llvmpy模塊
LLVM是一個(gè)動(dòng)態(tài)編譯器，llvmpy則可以通過(guò)Python調(diào)用LLVM動(dòng)態(tài)地創(chuàng)建機(jī)器碼。直接通過(guò)llvmpy創(chuàng)建機(jī)器碼是比較繁瑣的，例如下面的程序創(chuàng)建一個(gè)計(jì)算兩個(gè)整數(shù)之和的函數(shù)，并調(diào)用它計(jì)算結(jié)果。
- from llvm.core import Module, Type, Builder
- from llvm.ee import ExecutionEngine, GenericValue
- # Create a new module with a function implementing this:
- #
- # int add(int a, int b) {
- # return a + b;
- # }
- #
- my_module = Module.new('my_module')
- ty_int = Type.int()
- ty_func = Type.function(ty_int, [ty_int, ty_int])
- f_add = my_module.add_function(ty_func, "add")
- f_add.args[0].name = "a"
- f_add.args[1].name = "b"
- bb = f_add.append_basic_block("entry")
- # IRBuilder for our basic block
- builder = Builder.new(bb)
- tmp = builder.add(f_add.args[0], f_add.args[1], "tmp")
- builder.ret(tmp)
- # Create an execution engine object. This will create a JIT compiler
- # on platforms that support it, or an interpreter otherwise
- ee = ExecutionEngine.new(my_module)
- # Each argument needs to be passed as a GenericValue object, which is a kind
- # of variant
- arg1 = GenericValue.int(ty_int, 100)
- arg2 = GenericValue.int(ty_int, 42)
- # Now let's compile and run!
- retval = ee.run_function(f_add, [arg1, arg2])
- # The return value is also GenericValue. Let's print it.
- print "returned", retval.as_int()
- returned 142
f_add就是一個(gè)動(dòng)態(tài)生成的機(jī)器碼函數(shù)，我們可以把它想象成C語(yǔ)言編譯之后的函數(shù)。在上面的程序中，我們通過(guò)ee.run_function調(diào)用此函數(shù)，而實(shí)際上我們還可以獲得它的地址，然后通過(guò)Python的ctypes模塊調(diào)用它。
首先通過(guò)ee.get_pointer_to_function獲得f_add函數(shù)的地址：
- addr = ee.get_pointer_to_function(f_add)
- addr
- 2975997968L
然后通過(guò)ctypes.PYFUNCTYPE創(chuàng)建一個(gè)函數(shù)類(lèi)型：
- import ctypes
- f_type = ctypes.PYFUNCTYPE(ctypes.c_int, ctypes.c_int, ctypes.c_int)
***通過(guò)f_type將函數(shù)的地址轉(zhuǎn)換為可調(diào)用的Python函數(shù)，并調(diào)用它：
- f = f_type(addr)
- f(100, 42)
- 142
numba所完成的工作就是：
解析Python函數(shù)的ast語(yǔ)法樹(shù)并加以改造，添加類(lèi)型信息;
將帶類(lèi)型信息的ast語(yǔ)法樹(shù)通過(guò)llvmpy動(dòng)態(tài)地轉(zhuǎn)換為機(jī)器碼函數(shù)，然后再通過(guò)和ctypes類(lèi)似的技術(shù)為機(jī)器碼函數(shù)創(chuàng)建包裝函數(shù)供Python調(diào)用。
網(wǎng)頁(yè)名稱(chēng)：一行代碼讓你的Python運(yùn)行速度提高100倍！Python真強(qiáng)！
文章來(lái)源：http://www.dlmjj.cn/article/dhegesj.html
