建站
咨詢
售后
建站咨詢
新聞中心
Nginx的內(nèi)存池實現(xiàn)得很精巧，代碼也很簡潔?？偟膩碚f，所有的內(nèi)存池基本都一個宗旨：申請大塊內(nèi)存，避免“細水長流”。
站在用戶的角度思考問題，與客戶深入溝通，找到二道江網(wǎng)站設(shè)計與二道江網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗，讓設(shè)計與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個性化、用戶體驗好的作品，建站類型包括：網(wǎng)站設(shè)計制作、網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣、申請域名、虛擬主機、企業(yè)郵箱。業(yè)務(wù)覆蓋二道江地區(qū)。
一、創(chuàng)建一個內(nèi)存池
nginx內(nèi)存池主要有下面兩個結(jié)構(gòu)來維護，他們分別維護了內(nèi)存池的頭部和數(shù)據(jù)部。此處數(shù)據(jù)部就是供用戶分配小塊內(nèi)存的地方。
//該結(jié)構(gòu)用來維護內(nèi)存池的數(shù)據(jù)塊，供用戶分配之用。
typedef struct {
u_char *last; //當前內(nèi)存分配結(jié)束位置，即下一段可分配內(nèi)存的起始位置
u_char *end; //內(nèi)存池結(jié)束位置
ngx_pool_t *next; //鏈接到下一個內(nèi)存池
ngx_uint_t failed; //統(tǒng)計該內(nèi)存池不能滿足分配請求的次數(shù)
} ngx_pool_data_t;
//該結(jié)構(gòu)維護整個內(nèi)存池的頭部信息。
struct ngx_pool_s {
ngx_pool_data_t d; //數(shù)據(jù)塊
size_t max; //數(shù)據(jù)塊的大小，即小塊內(nèi)存的最大值
ngx_pool_t *current; //保存當前內(nèi)存池
ngx_chain_t *chain; //可以掛一個chain結(jié)構(gòu)
ngx_pool_large_t *large; //分配大塊內(nèi)存用，即超過max的內(nèi)存請求
ngx_pool_cleanup_t *cleanup; //掛載一些內(nèi)存池釋放的時候，同時釋放的資源。
ngx_log_t *log;
};
有了上面的兩個結(jié)構(gòu)，就可以創(chuàng)建一個內(nèi)存池了，nginx用來創(chuàng)建一個內(nèi)存池的接口是：ngx_pool_t *ngx_create_pool(size_t size, ngx_log_t *log)(位于src/core/ngx_palloc.c中);調(diào)用這個函數(shù)就可以創(chuàng)建一個大小為size的內(nèi)存池了。這里，我用內(nèi)存池的結(jié)構(gòu)圖來展示，就不做具體的代碼分析了。
ngx_create_pool接口函數(shù)就是分配上圖這樣的一大塊內(nèi)存，然后初始化好各個頭部字段(上圖中的彩色部分)。紅色表示的四個字段就是來自于上述的第一個結(jié)構(gòu)，維護數(shù)據(jù)部分，由圖可知：last是用戶從內(nèi)存池分配新內(nèi)存的開始位置，end是這塊內(nèi)存池的結(jié)束位置，所有分配的內(nèi)存都不能超過end。藍色表示的max字段的值等于整個數(shù)據(jù)部分的長度，用戶請求的內(nèi)存大于max時，就認為用戶請求的是一個大內(nèi)存，此時需要在紫色表示的large字段下面單獨分配;用戶請求的內(nèi)存不大于max的話，就是小內(nèi)存申請，直接在數(shù)據(jù)部分分配，此時將會移動last指針。
二、分配小塊內(nèi)存(size <= max)
上面創(chuàng)建好了一個可用的內(nèi)存池了，也提到了小塊內(nèi)存的分配問題。nginx提供給用戶使用的內(nèi)存分配接口有：
void *ngx_palloc(ngx_pool_t *pool, size_t size);
void *ngx_pnalloc(ngx_pool_t *pool, size_t size);
void *ngx_pcalloc(ngx_pool_t *pool, size_t size);
void *ngx_pmemalign(ngx_pool_t *pool, size_t size, size_t alignment);
ngx_palloc和ngx_pnalloc都是從內(nèi)存池里分配size大小內(nèi)存，至于分得的是小塊內(nèi)存還是大塊內(nèi)存，將取決于size的大小;他們的不同之處在于，palloc取得的內(nèi)存是對齊的，pnalloc則否。ngx_pcalloc是直接調(diào)用palloc分配好內(nèi)存，然后進行一次0初始化操作。ngx_pmemalign將在分配size大小的內(nèi)存并按alignment對齊，然后掛到large字段下，當做大塊內(nèi)存處理。下面用圖形展示一下分配小塊內(nèi)存的模型：
上圖這個內(nèi)存池模型是由上3個小內(nèi)存池構(gòu)成的，由于第一個內(nèi)存池上剩余的內(nèi)存不夠分配了，于是就創(chuàng)建了第二個新的內(nèi)存池，第三個內(nèi)存池是由于前面兩個內(nèi)存池的剩余部分都不夠分配，所以創(chuàng)建了第三個內(nèi)存池來滿足用戶的需求。由圖可見：所有的小內(nèi)存池是由一個單向鏈表維護在一起的。這里還有兩個字段需要關(guān)注，failed和current字段。failed表示的是當前這個內(nèi)存池的剩余可用內(nèi)存不能滿足用戶分配請求的次數(shù)，即是說：一個分配請求到來后，在這個內(nèi)存池上分配不到想要的內(nèi)存，那么就failed就會增加1;這個分配請求將會遞交給下一個內(nèi)存池去處理，如果下一個內(nèi)存池也不能滿足，那么它的failed也會加1，然后將請求繼續(xù)往下傳遞，直到滿足請求為止(如果沒有現(xiàn)成的內(nèi)存池來滿足，會再創(chuàng)建一個新的內(nèi)存池)。current字段會隨著failed的增加而發(fā)生改變，如果current指向的內(nèi)存池的failed達到了4的話，current就指向下一個內(nèi)存池了。猜測：4這個值應(yīng)該是作者的經(jīng)驗值，或者是一個統(tǒng)計值。
三、大塊內(nèi)存的分配(size > max)
大塊內(nèi)存的分配請求不會直接在內(nèi)存池上分配內(nèi)存來滿足，而是直接向操作系統(tǒng)申請這么一塊內(nèi)存(就像直接使用malloc分配內(nèi)存一樣)，然后將這塊內(nèi)存掛到內(nèi)存池頭部的large字段下。內(nèi)存池的作用在于解決小塊內(nèi)存池的頻繁申請問題，對于這種大塊內(nèi)存，是可以忍受直接申請的。同樣，用圖形展示大塊內(nèi)存申請模型：
注意每塊大內(nèi)存都對應(yīng)有一個頭部結(jié)構(gòu)(next&alloc)，這個頭部結(jié)構(gòu)是用來將所有大內(nèi)存串成一個鏈表用的。這個頭部結(jié)構(gòu)不是直接向操作系統(tǒng)申請的，而是當做小塊內(nèi)存(頭部結(jié)構(gòu)沒幾個字節(jié))直接在內(nèi)存池里申請的。這樣的大塊內(nèi)存在使用完后，可能需要第一時間釋放，節(jié)省內(nèi)存空間，因此nginx提供了接口函數(shù)：ngx_int_t ngx_pfree(ngx_pool_t *pool, void *p);此函數(shù)專門用來釋放某個內(nèi)存池上的某個大塊內(nèi)存，p就是大內(nèi)存的地址。ngx_pfree只會釋放大內(nèi)存，不會釋放其對應(yīng)的頭部結(jié)構(gòu)，畢竟頭部結(jié)構(gòu)是當做小內(nèi)存在內(nèi)存池里申請的;遺留下來的頭部結(jié)構(gòu)會作下一次申請大內(nèi)存之用。
四、cleanup資源
可以看到所有掛載在內(nèi)存池上的資源將形成一個循環(huán)鏈表，一路走來，發(fā)現(xiàn)鏈表這種看似簡單的數(shù)據(jù)結(jié)構(gòu)卻被頻繁使用。由圖可知，每個需要清理的資源都對應(yīng)有一個頭部結(jié)構(gòu)，這個結(jié)構(gòu)中有一個關(guān)鍵的字段handler，handler是一個函數(shù)指針，在掛載一個資源到內(nèi)存池上的時候，同時也會注冊一個清理資源的函數(shù)到這個handler上。即是說，內(nèi)存池在清理cleanup的時候，就是調(diào)用這個handler來清理對應(yīng)的資源。比如：我們可以將一個開打的文件描述符作為資源掛載到內(nèi)存池上，同時提供一個關(guān)閉文件描述的函數(shù)注冊到handler上，那么內(nèi)存池在釋放的時候，就會調(diào)用我們提供的關(guān)閉文件函數(shù)來處理文件描述符資源了。
五、內(nèi)存的釋放
只提供給了用戶申請內(nèi)存的接口，卻沒有釋放內(nèi)存的接口，那么nginx是如何完成內(nèi)存釋放的呢?總不能一直申請，用不釋放啊。針對這個問題，nginx利用了web server應(yīng)用的特殊場景來完成;一個web server總是不停的接受connection和request，所以nginx就將內(nèi)存池分了不同的等級，有進程級的內(nèi)存池、connection級的內(nèi)存池、request級的內(nèi)存池。也就是說，創(chuàng)建好一個worker進程的時候，同時為這個worker進程創(chuàng)建一個內(nèi)存池，待有新的連接到來后，就在worker進程的內(nèi)存池上為該連接創(chuàng)建起一個內(nèi)存池;連接上到來一個request后，又在連接的內(nèi)存池上為request創(chuàng)建起一個內(nèi)存池。這樣，在request被處理完后，就會釋放request的整個內(nèi)存池，連接斷開后，就會釋放連接的內(nèi)存池。因而，就保證了內(nèi)存有分配也有釋放。
總結(jié)：通過內(nèi)存的分配和釋放可以看出，nginx只是將小塊內(nèi)存的申請聚集到一起申請，然后一起釋放。避免了頻繁申請小內(nèi)存，降低內(nèi)存碎片的產(chǎn)生等問題
原文：http://www.tbdata.org/archives/1390
【編輯推薦】
- Nginx 1.0.0正式版發(fā)布 附下載
- 1分鐘完美安裝最新CentOS+Nginx+PHP-FPM+MySQL
- 快速部署Python應(yīng)用：Nginx+uWSGI配置詳解
- 在Nginx上運行Ruby on Rails
- 在Nginx下針對IP和目錄限速
網(wǎng)站題目：Nginx源碼分析-內(nèi)存池
文章源于：http://www.dlmjj.cn/article/cogpsjc.html
