建站
咨詢
售后
建站咨詢
新聞中心
在編寫Linux C程序的過程中，epoll和線程池是非常常用的兩個技術(shù)。epoll是一種高效的I/O多路復用機制，可以監(jiān)聽多個文件描述符的狀態(tài)，而線程池則是一種處理多個任務(wù)的機制，可以節(jié)省線程創(chuàng)建和銷毀的開銷，提高程序效率。本文將介紹如何在Linux C下實現(xiàn)epoll和線程池。
丹寨網(wǎng)站制作公司哪家好，找成都創(chuàng)新互聯(lián)！從網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、自適應(yīng)網(wǎng)站建設(shè)等網(wǎng)站項目制作，到程序開發(fā)，運營維護。成都創(chuàng)新互聯(lián)從2013年創(chuàng)立到現(xiàn)在10年的時間，我們擁有了豐富的建站經(jīng)驗和運維經(jīng)驗，來保證我們的工作的順利進行。專注于網(wǎng)站建設(shè)就選成都創(chuàng)新互聯(lián)。
一、epoll的實現(xiàn)
1. 創(chuàng)建一個epoll實例
在使用epoll機制前，首先需要創(chuàng)建一個epoll實例。epoll機制中的epoll_instance_t結(jié)構(gòu)體用于存儲epoll實例信息，包括文件描述符、epoll事件數(shù)組和其他相關(guān)參數(shù)。創(chuàng)建epoll實例的代碼如下：
“`C
int epoll_fd = epoll_create(1024);
“`
這里epoll_create()函數(shù)的參數(shù)用于指定epoll實例的大小。這里指定的是1024。
2. 將文件描述符添加到epoll實例中
在使用epoll機制時，需要將需要監(jiān)聽的文件描述符添加到epoll實例中。epoll機制中的epoll_event_t結(jié)構(gòu)體用于存儲文件描述符的狀態(tài)，包括讀、寫和異常。將文件描述符添加到epoll實例中的代碼如下：
“`C
struct epoll_event event;
event.events = EPOLLIN | EPOLLET;
event.data.fd = sockfd;
epoll_ctl(epoll_fd, EPOLL_CTL_ADD, sockfd, &event);
“`
這里的sockfd表示需要監(jiān)聽的文件描述符，event.events表示需要監(jiān)聽的事件類型，EPOLLIN表示讀事件，EPOLLET表示邊緣觸發(fā)模式。event.data.fd表示存儲文件描述符的結(jié)構(gòu)體。將文件描述符添加到epoll實例中的函數(shù)是epoll_ctl()。
3. 輪詢epoll實例
將文件描述符添加到epoll實例中后，需要輪詢epoll實例中的文件描述符狀態(tài)。epoll機制中的epoll_wt()函數(shù)可以實現(xiàn)這一功能。epoll_wt()函數(shù)會阻塞，直到有文件描述符狀態(tài)發(fā)生變化。相關(guān)代碼如下：
“`C
struct epoll_event events[MAX_EVENTS];
int nfds = epoll_wt(epoll_fd, events, MAX_EVENTS, -1);
for (int i = 0; i
if (events[i].data.fd == sockfd) {
if (events[i].events & EPOLLIN) {
// 有數(shù)據(jù)可讀
}
if (events[i].events & EPOLLOUT) {
// 可寫
}
if (events[i].events & EPOLLERR) {
// 出錯
}
}
}
“`
這里的MAX_EVENTS表示可以監(jiān)聽的文件描述符數(shù)量，epoll_wt()函數(shù)的第四個參數(shù)為阻塞時間，默認為-1。
二、線程池的實現(xiàn)
1. 創(chuàng)建線程池
線程池的創(chuàng)建過程中，需要定義一個線程池結(jié)構(gòu)體，包括線程池大小、線程數(shù)組和任務(wù)隊列等信息。相關(guān)代碼如下：
“`C
typedef struct {
pthread_mutex_t lock;
pthread_cond_t cond;
pthread_t *threads;
task_t *queue;
int thread_count;
int queue_size;
int queue_count;
int queue_head;
int queue_tl;
int shutdown;
} threadpool_t;
“`
這里的task_t結(jié)構(gòu)體用于存儲任務(wù)信息。定義完線程池結(jié)構(gòu)體后，需要初始化線程池，相關(guān)代碼如下：
“`C
threadpool_t *threadpool_create(int thread_count, int queue_size) {
threadpool_t *pool;
pool = (threadpool_t *)malloc(sizeof(threadpool_t));
pool->thread_count = 0;
pool->queue_count = 0;
pool->queue_head = 0;
pool->queue_tl = 0;
pool->shutdown = 0;
pool->threads = (pthread_t *)malloc(sizeof(pthread_t) * thread_count);
pool->queue = (task_t *)malloc(sizeof(task_t) * queue_size);
pthread_mutex_init(&pool->lock, NULL);
pthread_cond_init(&pool->cond, NULL);
for (int i = 0; i
pthread_create(&pool->threads[i], NULL, thread_process, (void *)pool);
pool->thread_count++;
}
return pool;
}
“`
線程數(shù)和任務(wù)隊列大小都需要在初始化線程池時指定。線程池中的每個線程的執(zhí)行函數(shù)為thread_process()，與任務(wù)隊列任務(wù)處理函數(shù)的函數(shù)名相同，便于線程與任務(wù)的綁定。
2. 將任務(wù)添加到線程池中
將任務(wù)添加到線程池時，需要將任務(wù)信息添加到任務(wù)隊列中，并喚醒一個線程處理任務(wù)，相關(guān)代碼如下：
“`C
void threadpool_add_task(threadpool_t *pool, task_t *task) {
pthread_mutex_lock(&pool->lock);
pool->queue[pool->queue_tl] = *task;
pool->queue_count++;
if (pool->queue_tl++ == pool->queue_size) {
pool->queue_tl = 0;
}
pthread_cond_signal(&pool->cond);
pthread_mutex_unlock(&pool->lock);
}
“`
任務(wù)隊列時循環(huán)隊列，隊列滿時會從隊頭覆蓋，隊列為空時會阻塞等待任務(wù)添加。
3. 銷毀線程池
銷毀線程池時，需要將線程池的所有線程退出，并釋放線程池內(nèi)存空間。相關(guān)代碼如下：
“`C
void threadpool_destroy(threadpool_t *pool) {
if (pool->shutdown == 1) {
return;
}
pool->shutdown = 1;
pthread_cond_broadcast(&pool->cond);
for (int i = 0; i thread_count; i++) {
pthread_join(pool->threads[i], NULL);
}
free(pool->threads);
free(pool->queue);
pthread_mutex_destroy(&pool->lock);
pthread_cond_destroy(&pool->cond);
free(pool);
}
“`
在銷毀線程池時，需要釋放線程池內(nèi)存空間，并調(diào)用相關(guān)線程和鎖的銷毀函數(shù)進行釋放。
綜上所述，epoll和線程池是兩個常用的技術(shù)，能夠有效提高程序效率和并發(fā)處理能力。在Linux C實現(xiàn)epoll和線程池時，需要理解epoll和線程池的基本原理和實現(xiàn)流程，并結(jié)合相關(guān)函數(shù)和數(shù)據(jù)結(jié)構(gòu)進行編程實現(xiàn)。
成都網(wǎng)站建設(shè)公司-創(chuàng)新互聯(lián)為您提供網(wǎng)站建設(shè)、網(wǎng)站制作、網(wǎng)頁設(shè)計及定制高端網(wǎng)站建設(shè)服務(wù)！
epoll知識點總結(jié)
epoll是linux IO多路復用的管理機制，現(xiàn)在是linux平臺高性能網(wǎng)絡(luò)io必要的組件。
理解內(nèi)核epoll的運行原理，需要從四方面來理解：
1.epoll的數(shù)據(jù)結(jié)構(gòu)。2.epoll的線程安全。
3.epoll的內(nèi)核回調(diào)。4.epoll的LT與ET。
主要兩個結(jié)構(gòu)體 eventpoll 與 epitem。
eventpoll是每一個epoll所對應(yīng)的，epitem是每一個中閉察IO所對應(yīng)的事件。
數(shù)據(jù)結(jié)構(gòu)圖下圖所示
list用來存儲準備就緒的IO，內(nèi)核IO準備就緒的時候，會執(zhí)行epoll_event_callback的回調(diào)函數(shù)，將epitem添加到list中；當epoll_wait激活重新運行的時候，將list的epitem逐一copy到events參數(shù)中。
rbtree用來存儲所有的io數(shù)據(jù)，方便快速通過io_fd查找；epoll_ctl執(zhí)行EPOLL_CTL_ADD操作時，將epitem添加到rbtree中；epoll_ctl執(zhí)行EPOLL_CTL_DEL操作時，將epitem從retree中刪除。
以下幾個包括list操作，rbtree操作，epoll_wait的等待需要加鎖。
list使用最小粒度的spinlock鎖，避免多核競爭。
rbtree的添加使用互斥鎖，
epoll_wait采用pthread_cond_wait;
1.tcp三次握手，對端反饋ack，socket進入rcvd狀態(tài)，需要將監(jiān)聽的socket的event置為EPOLLIN，此時標識可以進入到accept讀取socket數(shù)據(jù)。
2.established狀態(tài)時，收到數(shù)據(jù)，將socket的event置為EPOLLIN狀態(tài)。
3.established狀態(tài)時 收到fin，socket進入close_Wait，需要將socket的event設(shè)置為EPOLLIN，讀取斷開信息
4 . 檢測到socket的send狀態(tài)，cwnd >0可以發(fā)送的數(shù)據(jù)，需要將socket置為EPOLLOUT。
LT（水平觸發(fā)）：socket接收緩沖區(qū)不為空 有數(shù)據(jù)可讀，讀事件一直觸發(fā)；socket發(fā)送緩沖區(qū)不滿，可以繼續(xù)寫入數(shù)據(jù)，寫事件一直觸發(fā)。
ET（邊緣觸發(fā)）：socket接收緩沖區(qū)變化時觸發(fā)讀事件，空的接收緩沖區(qū)剛接收到數(shù)據(jù)時觸發(fā)讀事件；socket發(fā)送緩沖區(qū)狀態(tài)發(fā)生變化時觸發(fā)寫事件，即滿的緩沖區(qū)剛空出空間時觸發(fā)讀事件。
LT的處理過程：
accept一個連接，添加到epoll中監(jiān)聽EPOLLIN事件。
當EPOLLIN事件到達時，read fd中的數(shù)據(jù)并處理，
當需要寫出數(shù)據(jù)時，把數(shù)據(jù)write到fd中；如果數(shù)賣茄據(jù)較大，無法一次性寫出，那么在epoll中監(jiān)聽EPOLLOUT事件。
當EPOLLOUT事件到達時，繼續(xù)把數(shù)據(jù)write到fd中 ；如果數(shù)據(jù)寫出完畢，那么在epoll中關(guān)閉EPOLLOUT事件。
ET的處理過程：
accept一個連接，添加到epoll中監(jiān)聽EPOLLIN|EPOLLOUT事件
當EPOLLIN事件到達時，read fd中數(shù)據(jù)并處理，read需要一直讀，直到返回EAGAIN為止
當需要寫出數(shù)據(jù)時，把數(shù)據(jù)write到fd中，直到數(shù)據(jù)全部寫完或者write返回EAGAIN
當EPOLLOUT事件到達時，繼續(xù)把數(shù)據(jù)write到fd中，直到數(shù)據(jù)全部寫完，或者write返回EAGAIN
accept要考慮兩個問題：
阻塞模式accept存在的問題：TCP連接被客戶端夭折，即服務(wù)器調(diào)用accept之前，客戶端主動發(fā)送RST終止連接，導致剛剛建立的連接從就緒隊列中移出，如果套接口被設(shè)置成阻塞模式，服務(wù)器就一直阻塞到accept調(diào)用上，直到其他某個客戶建立一個新的連接為止。在此期間，服務(wù)器 單純阻塞在accept調(diào)用上，就緒隊列上其他描述符都得不到處理。解決辦法是把監(jiān)聽的套接口設(shè)置成非阻塞的，客戶端在在服務(wù)器端調(diào)用accept之前中止某個連接時，accept調(diào)用態(tài)衫可以立即返回-1。
ET模式accept存在的問題：
多個連接同時到達，，服務(wù)器TCP就行連接瞬間積累多個就緒連接，由于是邊緣觸發(fā)模式，epoll只會通知一次，accept只處理一個連接，導致TCP就緒隊列中剩下的連接都得不到處理，解決辦法是，while循環(huán) 中accpet調(diào)用，處理完accept就緒隊列中所有連接后再退出循環(huán)。如何知道是否處理完所有連接，accept返回-1并且error設(shè)置為errno設(shè)置為EAGAIN便是所有連接都處理完。
LT 只要event為EPOLLIN時就能不斷調(diào)用回調(diào)函數(shù)
ET 如果從EPOLLOUT變化為EPOLLIN時候，就會觸發(fā)。
Linux系統(tǒng)I/O模型及select、poll、epoll原理和應(yīng)用
理解Linux的IO模型之前，首先要了解一些基本概念，才能理解這些IO模型設(shè)計的依據(jù)
操作系統(tǒng)使用虛擬內(nèi)旦談磨存來映射物理內(nèi)存，對于32位的操作系統(tǒng)來說，虛擬地址空間為4G（2^32）。操作系統(tǒng)的核心是內(nèi)核，為了保護用戶進程不能直接操作內(nèi)核，保證內(nèi)核安全，操作系統(tǒng)將虛擬地址空間劃分為內(nèi)核空間和用戶空間。內(nèi)核可以訪問全部的地址空間，擁有訪問底層硬件設(shè)備的權(quán)限，普通的應(yīng)用程序需要訪問硬件設(shè)備必須通過
系統(tǒng)調(diào)用
來實現(xiàn)。
對于Linux系統(tǒng)來說，將虛擬內(nèi)存的更高1G字節(jié)的空間作為內(nèi)核空間僅供內(nèi)核使用，低3G字節(jié)的空間供用戶進程使用，稱為用戶空間。
又被稱為標準I/O，大多數(shù)文件系統(tǒng)的默認I/O都是緩存I/O。在Linux系統(tǒng)的緩存I/O機制中，操作系統(tǒng)會將I/O的數(shù)據(jù)緩存在頁緩存（內(nèi)存）中，也就是數(shù)據(jù)先被拷貝到內(nèi)核的緩沖區(qū)（內(nèi)核地址空間），然后才會從內(nèi)核緩沖區(qū)拷貝到應(yīng)用程序的緩沖區(qū)（用戶地址空間）。
這種方式很明顯的缺點就是數(shù)據(jù)傳輸過程中需要再應(yīng)用程序地址空間和內(nèi)核空間進行多次數(shù)據(jù)拷貝操作，這些操作帶來的CPU以及內(nèi)存的開銷是非常大的。
由于Linux系統(tǒng)采用的緩存I/O模式，對于一次I/O訪問，以讀操作舉例，數(shù)據(jù)先會被拷貝到內(nèi)核緩沖區(qū)，然后才會從內(nèi)核緩沖區(qū)拷貝到應(yīng)用程序的緩存區(qū)，當一個read系統(tǒng)調(diào)用發(fā)生的時候，會經(jīng)歷兩個階段：
正是因為這兩個狀態(tài)，Linux系統(tǒng)才產(chǎn)生了多種不同的網(wǎng)絡(luò)I/O模式的方案
Linux系統(tǒng)默認情況下所有socke都是blocking的，一個讀操作流程如下：
以UDP socket為例，當用戶進程調(diào)用了recvfrom系統(tǒng)調(diào)用，如果數(shù)據(jù)還沒準備好，應(yīng)用進程被阻塞，內(nèi)核直到數(shù)據(jù)到來且將數(shù)據(jù)從內(nèi)核緩沖區(qū)拷貝到了應(yīng)用進程緩沖區(qū)，然后向用戶進程返回結(jié)果，用戶進程才解除block狀態(tài)，重新運行起來。
阻塞模行下只是阻塞了當前的應(yīng)用進程，其他進程還可以執(zhí)行，不消耗CPU時間，CPU的利用率較高。
Linux可以設(shè)置socket為非阻塞的，非阻塞模式下執(zhí)行一個讀操作流程如下：
當用戶進程發(fā)出recvfrom系統(tǒng)調(diào)用時，如果kernel中的數(shù)據(jù)還沒準備好，模斗recvfrom會立即返回一個error結(jié)果，不會阻塞用戶進程，用戶進程收到error時知道數(shù)據(jù)還沒準備好，過一會再調(diào)用recvfrom，直到kernel中的數(shù)據(jù)準備好了，內(nèi)核就立即將數(shù)據(jù)拷貝到用戶內(nèi)存然后返回ok，這個過程需要用戶進程去輪詢內(nèi)核數(shù)據(jù)是否準備好。
非阻塞模型下由于要處理更多的系統(tǒng)調(diào)用，因此CPU利用率比較低。
應(yīng)用進程使用sigaction系統(tǒng)調(diào)用，內(nèi)核立即返回，等到kernel數(shù)據(jù)準備好時會給用戶進程發(fā)送一個信號，告訴用戶進程可以進行IO操作了，然后用戶進程再調(diào)用IO系統(tǒng)調(diào)用如recvfrom，將數(shù)據(jù)從內(nèi)核緩沖區(qū)拷貝到應(yīng)用進程。流程如下：
相比于輪詢的方式，不需要多次系統(tǒng)調(diào)用輪詢，信號驅(qū)動IO的CPU利用率更高。
異步IO模型與其他模型更大的區(qū)別是，異步IO在系統(tǒng)調(diào)用返回的時候所有操作都已經(jīng)完成，應(yīng)用進程既不需要等待數(shù)據(jù)準備，也不需要在數(shù)據(jù)到來后等待數(shù)據(jù)從內(nèi)核緩沖區(qū)拷貝到用戶緩沖區(qū)，流程如下：
在數(shù)據(jù)拷貝完成后，kernel會給用戶進程發(fā)送一個信號告訴其read操作完成了。
是用select、poll等待數(shù)據(jù)，可以等待多個socket中的任一個變?yōu)榭勺x，這一過程會被阻塞，當某個套接字數(shù)據(jù)到來時返回，之后再用recvfrom系統(tǒng)調(diào)用把數(shù)據(jù)從內(nèi)核緩存區(qū)復制到用戶進程，流程如下：
流程類似阻塞IO，甚至比阻塞IO更差，多使用了一個系統(tǒng)調(diào)用，但是IO多路復用更大的侍兄特點是讓單個進程能同時處理多個IO事件的能力，又被稱為事件驅(qū)動IO，相比于多線程模型，IO復用模型不需要線程的創(chuàng)建、切換、銷毀，系統(tǒng)開銷更小，適合高并發(fā)的場景。
select是IO多路復用模型的一種實現(xiàn)，當select函數(shù)返回后可以通過輪詢fdset來找到就緒的socket。
優(yōu)點是幾乎所有平臺都支持，缺點在于能夠監(jiān)聽的fd數(shù)量有限，Linux系統(tǒng)上一般為1024，是寫死在宏定義中的，要修改需要重新編譯內(nèi)核。而且每次都要把所有的fd在用戶空間和內(nèi)核空間拷貝，這個操作是比較耗時的。
poll和select基本相同，不同的是poll沒有更大fd數(shù)量限制（實際也會受到物理資源的限制，因為系統(tǒng)的fd數(shù)量是有限的），而且提供了更多的時間類型。
總結(jié)：select和poll都需要在返回后通過輪詢的方式檢查就緒的socket，事實上同時連的大量socket在一個時刻只有很少的處于就緒狀態(tài)，因此隨著監(jiān)視的描述符數(shù)量的變多，其性能也會逐漸下降。
epoll是select和poll的改進版本，更加靈活，沒有描述符限制。epoll使用一個文件描述符管理多個描述符，將用戶關(guān)系的文件描述符的事件存放到內(nèi)核的一個事件表中，這樣在用戶空間和內(nèi)核空間的copy只需一次。
epoll_create()用來創(chuàng)建一個epoll句柄。
epoll_ctl() 用于向內(nèi)核注冊新的描述符或者是改變某個文件描述符的狀態(tài)。已注冊的描述符在內(nèi)核中會被維護在一棵紅黑樹上，通過回調(diào)函數(shù)內(nèi)核會將 I/O 準備好的描述符加入到一個就緒鏈表中管理。
epoll_wait() 可以從就緒鏈表中得到事件完成的描述符，因此進程不需要通過輪詢來獲得事件完成的描述符。
當epoll_wait檢測到描述符IO事件發(fā)生并且通知給應(yīng)用程序時，應(yīng)用程序可以不立即處理該事件，下次調(diào)用epoll_wait還會再次通知該事件，支持block和nonblocking socket。
當epoll_wait檢測到描述符IO事件發(fā)生并且通知給應(yīng)用程序時，應(yīng)用程序需要立即處理該事件，如果不立即處理，下次調(diào)用epoll_wait不會再次通知該事件。
ET模式在很大程度上減少了epoll事件被重復觸發(fā)的次數(shù)，因此效率要比LT模式高。epoll工作在ET模式的時候，必須使用nonblocking socket，以避免由于一個文件句柄的阻塞讀/阻塞寫操作把處理多個文件描述符的任務(wù)餓死。
【segmentfault】 Linux IO模式及 select、poll、epoll詳解
【GitHub】 CyC2023/CS-Notes
linux c epoll 線程池的介紹就聊到這里吧，感謝你花時間閱讀本站內(nèi)容，更多關(guān)于linux c epoll 線程池,Linux C下如何實現(xiàn)epoll和線程池,epoll知識點總結(jié),Linux系統(tǒng)I/O模型及select、poll、epoll原理和應(yīng)用的信息別忘了在本站進行查找喔。
香港服務(wù)器選創(chuàng)新互聯(lián)，香港虛擬主機被稱為香港虛擬空間/香港網(wǎng)站空間，或者簡稱香港主機/香港空間。香港虛擬主機特點是免備案空間開通就用， 創(chuàng)新互聯(lián)香港主機精選cn2+bgp線路訪問快、穩(wěn)定！
當前標題：LinuxC下如何實現(xiàn)epoll和線程池(linuxcepoll線程池)
文章位置：http://www.dlmjj.cn/article/dhgoosp.html
