日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
Go超時引發(fā)大量Fin-Wait2

本文轉(zhuǎn)載自微信公眾號「碼農(nóng)桃花源」，作者峰云就她了。轉(zhuǎn)載本文請聯(lián)系碼農(nóng)桃花源公眾號。

通過grafana監(jiān)控面板，發(fā)現(xiàn)了幾個高頻的業(yè)務(wù)緩存節(jié)點出現(xiàn)了大量的fin-wait2，而且fin-wait2狀態(tài)持續(xù)了不短的時間。通過連接的ip地址和抓包數(shù)據(jù)判斷出對端的業(yè)務(wù)。除此之外，頻繁地去創(chuàng)建新連接，我們對golang net/http transport的連接池已優(yōu)化過，但established已建連的連接沒有得到復(fù)用。

另外，隨之帶來的問題是大量time-wait的出現(xiàn)，畢竟fin-wait2在拿到對端fin后會轉(zhuǎn)變?yōu)閠ime-wait狀態(tài)。但該狀態(tài)是正常的。

分析問題

通過分析業(yè)務(wù)日志發(fā)現(xiàn)了大量的接口超時問題，連接的地址跟netstat中fin-wait2目的地址是一致的。那么問題已經(jīng)明確了，當(dāng)http的請求觸發(fā)超時，定時器對連接對象進(jìn)行了關(guān)閉。這邊都close了，那么連接自然無法復(fù)用，所以就需要創(chuàng)建新連接，但由于對端的API接口出現(xiàn)邏輯阻塞，自然就又觸發(fā)了超時，continue。

 
 
 
 
    
  
  
  
  
  1. // xiaorui.cc 
    2.   
  
  
  
  2.  
    3.   
  
  
  
  3. Get "http://xxxx": context deadline exceeded (Client.Timeout exceeded while awaiting headers) 
    4.   
  
  
  
  4.  
    5.   
  
  
  
  5. Get "http://xxxx": context deadline exceeded (Client.Timeout exceeded while awaiting headers) 
    6.   
  
  
  
  6.  
    7.   
  
  
  
  7. Get "http://xxxx": context deadline exceeded (Client.Timeout exceeded while awaiting headers) 
    8.

通過strace追蹤socket的系統(tǒng)調(diào)用，發(fā)現(xiàn)golang的socket讀寫超時沒有使用setsockopt so_sndtimeo so_revtimeo參數(shù)。

 
 
 
 
    
  
  
  
  
  1. [pid 34262] epoll_ctl(3, EPOLL_CTL_ADD, 6, {EPOLLIN|EPOLLOUT|EPOLLRDHUP|EPOLLET, {u32=1310076696, u64=140244877192984}}) = 0 
    2.   
  
  
  
  2. [pid 34265] epoll_pwait(3,   
    3.   
  
  
  
  3. [pid 34262] <... getsockname resumed>{sa_family=AF_INET, sin_port=htons(45242), sin_addr=inet_addr("127.0.0.1")}, [112->16]) = 0 
    4.   
  
  
  
  4. [pid 34264] epoll_pwait(3,   
    5.   
  
  
  
  5. [pid 34262] setsockopt(6, SOL_TCP, TCP_NODELAY, [1], 4  
    6.   
  
  
  
  6. [pid 34262] setsockopt(6, SOL_SOCKET, SO_KEEPALIVE, [1], 4  
    7.   
  
  
  
  7. [pid 34264] read(4,   
    8.   
  
  
  
  8. [pid 34262] setsockopt(6, SOL_TCP, TCP_KEEPINTVL, [30], 4  
    9.

代碼分析

通過net/http源碼可以看到socket的超時控制是通過定時器來實現(xiàn)的，在連接的roundTrip方法里有超時引發(fā)關(guān)閉連接的邏輯。由于http的語義不支持多路復(fù)用，所以為了規(guī)避超時后再回來的數(shù)據(jù)造成混亂，索性直接關(guān)閉連接。

當(dāng)觸發(fā)超時會主動關(guān)閉連接，這里涉及到了四次揮手，作為關(guān)閉方會發(fā)送fin，對端內(nèi)核會回應(yīng)ack，這時候客戶端從fin-wait1到fin-wait2，而服務(wù)端在close-wait狀態(tài)，等待觸發(fā)close syscall系統(tǒng)調(diào)用。服務(wù)端什么時候觸發(fā)close動作?需要等待net/http handler業(yè)務(wù)邏輯執(zhí)行完畢。

 
 
 
 
    
  
  
  
  
  1. // xiaorui.cc 
    2.   
  
  
  
  2.  
    3.   
  
  
  
  3. var errTimeout error = &httpError{err: "net/http: timeout awaiting response headers", timeout: true} 
    4.   
  
  
  
  4.  
    5.   
  
  
  
  5. func (pc *persistConn) roundTrip(req *transportRequest) (resp *Response, err error) { 
    6.   
  
  
  
  6.     for { 
    7.   
  
  
  
  7.         testHookWaitResLoop() 
    8.   
  
  
  
  8.         select { 
    9.   
  
  
  
  9.         case err := <-writeErrCh: 
    10.   
  
  
  
  10.             if debugRoundTrip { 
    11.   
  
  
  
  11.                 req.logf("writeErrCh resv: %T/%#v", err, err) 
    12.   
  
  
  
  12.             } 
    13.   
  
  
  
  13.             if err != nil { 
    14.   
  
  
  
  14.                 pc.close(fmt.Errorf("write error: %v", err)) 
    15.   
  
  
  
  15.                 return nil, pc.mapRoundTripError(req, startBytesWritten, err) 
    16.   
  
  
  
  16.             } 
    17.   
  
  
  
  17.             if d := pc.t.ResponseHeaderTimeout; d > 0 { 
    18.   
  
  
  
  18.                 if debugRoundTrip { 
    19.   
  
  
  
  19.                     req.logf("starting timer for %v", d) 
    20.   
  
  
  
  20.                 } 
    21.   
  
  
  
  21.                 timer := time.NewTimer(d) 
    22.   
  
  
  
  22.                 defer timer.Stop() // prevent leaks 
    23.   
  
  
  
  23.                 respHeaderTimer = timer.C 
    24.   
  
  
  
  24.             } 
    25.   
  
  
  
  25.         case <-pc.closech: 
    26.   
  
  
  
  26.             ... 
    27.   
  
  
  
  27.         case <-respHeaderTimer: 
    28.   
  
  
  
  28.             if debugRoundTrip { 
    29.   
  
  
  
  29.                 req.logf("timeout waiting for response headers.") 
    30.   
  
  
  
  30.             } 
    31.   
  
  
  
  31.             pc.close(errTimeout) 
    32.   
  
  
  
  32.             return nil, errTimeout 
    33.

如何解決

要么加大客戶端的超時時間，要么優(yōu)化對端的獲取數(shù)據(jù)的邏輯，總之減少超時的觸發(fā)。這個問題其實跟 Go 沒有關(guān)系，換成openresyt和python同樣有這個問題。


新聞名稱：Go超時引發(fā)大量Fin-Wait2
鏈接地址：http://www.dlmjj.cn/article/djcciso.html