建站
咨詢
售后
建站咨詢
新聞中心
使用Go實現(xiàn)一個數(shù)據(jù)庫連接池
開始本文之前，我們看一段Go連接數(shù)據(jù)庫的代碼：
創(chuàng)新互聯(lián)公司是一家專注網(wǎng)站建設、網(wǎng)絡營銷策劃、微信平臺小程序開發(fā)、電子商務建設、網(wǎng)絡推廣、移動互聯(lián)開發(fā)、研究、服務為一體的技術(shù)型公司。公司成立10多年以來，已經(jīng)為近1000家成都宣傳片制作各業(yè)的企業(yè)公司提供互聯(lián)網(wǎng)服務?，F(xiàn)在，服務的近1000家客戶與我們一路同行，見證我們的成長；未來，我們一起分享成功的喜悅。
本文內(nèi)容我們將解釋連接池背后是如何工作的，并 探索 如何配置數(shù)據(jù)庫能改變或優(yōu)化其性能。
轉(zhuǎn)自：
整理：地鼠文檔：
那么sql.DB連接池是如何工作的呢?
需要理解的最重要一點是，sql.DB池包含兩種類型的連接——“正在使用”連接和“空閑”連接。當您使用連接執(zhí)行數(shù)據(jù)庫任務(例如執(zhí)行SQL語句或查詢行)時，該連接被標記為正在使用，任務完成后，該連接被標記為空閑。
當您使用Go執(zhí)行數(shù)據(jù)庫操作時，它將首先檢查池中是否有可用的空閑連接。如果有可用的連接，那么Go將重用這個現(xiàn)有連接，并在任務期間將其標記為正在使用。如果在您需要空閑連接時池中沒有空閑連接，那么Go將創(chuàng)建一個新的連接。
當Go重用池中的空閑連接時，與該連接有關的任何問題都會被優(yōu)雅地處理。異常連接將在放棄之前自動重試兩次，這時Go將從池中刪除異常連接并創(chuàng)建一個新的連接來執(zhí)行該任務。
連接池有四個方法，我們可以使用它們來配置連接池的行為。讓我們一個一個地來討論。
SetMaxOpenConns()方法允許您設置池中“打開”連接(使用中+空閑連接)數(shù)量的上限。默認情況下，打開的連接數(shù)是無限的。
一般來說，MaxOpenConns設置得越大，可以并發(fā)執(zhí)行的數(shù)據(jù)庫查詢就越多，連接池本身成為應用程序中的瓶頸的風險就越低。
但讓它無限并不是最好的選擇。默認情況下，PostgreSQL最多100個打開連接的硬限制，如果達到這個限制的話，它將導致pq驅(qū)動返回”sorry, too many clients already”錯誤。
為了避免這個錯誤，將池中打開的連接數(shù)量限制在100以下是有意義的，可以為其他需要使用PostgreSQL的應用程序或會話留下足夠的空間。
設置MaxOpenConns限制的另一個好處是，它充當一個非常基本的限流器，防止數(shù)據(jù)庫同時被大量任務壓垮。
但設定上限有一個重要的警告。如果達到MaxOpenConns限制，并且所有連接都在使用中，那么任何新的數(shù)據(jù)庫任務將被迫等待，直到有連接空閑。在我們的API上下文中，用戶的HTTP請求可能在等待空閑連接時無限期地“掛起”。因此，為了緩解這種情況，使用上下文為數(shù)據(jù)庫任務設置超時是很重要的。我們將在書的后面解釋如何處理。
SetMaxIdleConns()方法的作用是：設置池中空閑連接數(shù)的上限。缺省情況下，最大空閑連接數(shù)為2。
理論上，在池中允許更多的空閑連接將增加性能。因為它減少了從頭建立新連接發(fā)生概率—，因此有助于節(jié)省資源。
但要意識到保持空閑連接是有代價的。它占用了本來可以用于應用程序和數(shù)據(jù)庫的內(nèi)存，而且如果一個連接空閑時間過長，它也可能變得不可用。例如，默認情況下MySQL會自動關閉任何8小時未使用的連接。
因此，與使用更小的空閑連接池相比，將MaxIdleConns設置得過高可能會導致更多的連接變得不可用，浪費資源。因此保持適量的空閑連接是必要的。理想情況下，你只希望保持一個連接空閑，可以快速使用。
另一件要指出的事情是MaxIdleConns值應該總是小于或等于MaxOpenConns。Go會強制保證這點，并在必要時自動減少MaxIdleConns值。
SetConnMaxLifetime()方法用于設置ConnMaxLifetime的極限值，表示一個連接保持可用的最長時間。默認連接的存活時間沒有限制，永久可用。
如果設置ConnMaxLifetime的值為1小時，意味著所有的連接在創(chuàng)建后，經(jīng)過一個小時就會被標記為失效連接，標志后就不可復用。但需要注意：
理論上，ConnMaxLifetime為無限大（或設置為很長生命周期）將提升性能，因為這樣可以減少新建連接。但是在某些情況下，設置短期存活時間有用。比如：
如果您決定對連接池設置ConnMaxLifetime，那么一定要記住連接過期(然后重新創(chuàng)建)的頻率。例如，如果連接池中有100個打開的連接，而ConnMaxLifetime為1分鐘，那么您的應用程序平均每秒可以殺死并重新創(chuàng)建多達1.67個連接。您不希望頻率太大而最終影響性能吧。
SetConnMaxIdleTime()方法在Go 1.15版本引入對ConnMaxIdleTime進行配置。其效果和ConnMaxLifeTime類似，但這里設置的是：在被標記為失效之前一個連接最長空閑時間。例如，如果我們將ConnMaxIdleTime設置為1小時，那么自上次使用以后在池中空閑了1小時的任何連接都將被標記為過期并被后臺清理操作刪除。
這個配置非常有用，因為它意味著我們可以對池中空閑連接的數(shù)量設置相對較高的限制，但可以通過刪除不再真正使用的空閑連接來周期性地釋放資源。
所以有很多信息要吸收。這在實踐中意味著什么？我們把以上所有的內(nèi)容總結(jié)成一些可行的要點。
1、根據(jù)經(jīng)驗，您應該顯式地設置MaxOpenConns值。這個值應該低于數(shù)據(jù)庫和操作系統(tǒng)對連接數(shù)量的硬性限制，您還可以考慮將其保持在相當?shù)偷乃剑猿洚敾镜南蘖髯饔谩?/p>
對于本書中的項目，我們將MaxOpenConns限制為25個連接。我發(fā)現(xiàn)這對于小型到中型的web應用程序和API來說是一個合理的初始值，但理想情況下，您應該根據(jù)基準測試和壓測結(jié)果調(diào)整這個值。
2、通常，更大的MaxOpenConns和MaxIdleConns值會帶來更好的性能。但是，效果是逐漸降低的，而且您應該注意，太多的空閑連接(連接沒有被復用)實際上會導致性能下降和不必要的資源消耗。
因為MaxIdleConns應該總是小于或等于MaxOpenConns，所以對于這個項目，我們還將MaxIdleConns限制為25個連接。
3、為了降低上面第2點的風險，通常應該設置ConnMaxIdleTime值來刪除長時間未使用的空閑連接。在這個項目中，我們將設置ConnMaxIdleTime持續(xù)時間為15分鐘。
4、ConnMaxLifetime默認設置為無限大是可以的，除非您的數(shù)據(jù)庫對連接生命周期施加了硬限制，或者您需要它協(xié)助一些操作，比如優(yōu)雅地交換數(shù)據(jù)庫。這些都不適用于本項目，所以我們將保留這個默認的無限制配置。
與其硬編碼這些配置，不如更新cmd/api/main.go文件通過命令行參數(shù)讀取配置。
ConnMaxIdleTime值比較有意思，因為我們希望它傳遞一段時間，最終需要將其轉(zhuǎn)換為Go的time.Duration類型。這里有幾個選擇:
1、我們可以使用一個整數(shù)來表示秒(或分鐘)的數(shù)量，并將其轉(zhuǎn)換為time.Duration。
2、我們可以使用一個表示持續(xù)時間的字符串——比如“5s”(5秒)或“10m”(10分鐘)——然后使用time.ParseDuration()函數(shù)解析它。
3、兩種方法都可以很好地工作，但是在這個項目中我們將使用選項2。繼續(xù)并更新cmd/api/main.go文件如下:
File: cmd/api/main.go
go語言string之Buffer與Builder
操作字符串離不開字符串的拼接，但是Go中string是只讀類型，大量字符串的拼接會造成性能問題。
拼接字符串，無外乎四種方式，采用“+”，“fmt.Sprintf()”,"bytes.Buffer","strings.Builder"
上面我們創(chuàng)建10萬字符串拼接的測試，可以發(fā)現(xiàn)"bytes.Buffer","strings.Builder"的性能最好，約是“+”的1000倍級別。
這是由于string是不可修改的，所以在使用“+”進行拼接字符串，每次都會產(chǎn)生申請空間，拼接，復制等操作，數(shù)據(jù)量大的情況下非常消耗資源和性能。而采用Buffer等方式，都是預先計算拼接字符串數(shù)組的總長度（如果可以知道長度），申請空間，底層是slice數(shù)組，可以以append的形式向后進行追加。最后在轉(zhuǎn)換為字符串。這申請了不斷申請空間的操作，也減少了空間的使用和拷貝的次數(shù)，自然性能也高不少。
bytes.buffer是一個緩沖byte類型的緩沖器存放著都是byte
是一個變長的 buffer，具有 Read 和Write 方法。 Buffer 的 零值 是一個 空的 buffer，但是可以使用，底層就是一個 []byte， 字節(jié)切片。
向Buffer中寫數(shù)據(jù)，可以看出Buffer中有個Grow函數(shù)用于對切片進行擴容。
從Buffer中讀取數(shù)據(jù)
strings.Builder的方法和bytes.Buffer的方法的命名幾乎一致。
但實現(xiàn)并不一致，Builder的Write方法直接將字符拼接slice數(shù)組后。
其沒有提供read方法，但提供了strings.Reader方式
Reader 結(jié)構(gòu):
Buffer:
Builder:
可以看出Buffer和Builder底層都是采用[]byte數(shù)組進行裝載數(shù)據(jù)。
先來說說Buffer:
創(chuàng)建好Buffer是一個empty的，off 用于指向讀寫的尾部。
在寫的時候，先判斷當前寫入字符串長度是否大于Buffer的容量，如果大于就調(diào)用grow進行擴容，擴容申請的長度為當前寫入字符串的長度。如果當前寫入字符串長度小于最小字節(jié)長度64，直接創(chuàng)建64長度的[]byte數(shù)組。如果申請的長度小于二分之一總?cè)萘繙p去當前字符總長度，說明存在很大一部分被使用但已讀，可以將未讀的數(shù)據(jù)滑動到數(shù)組頭。如果容量不足，擴展2*c + n 。
其String()方法就是將字節(jié)數(shù)組強轉(zhuǎn)為string
Builder是如何實現(xiàn)的。
Builder采用append的方式向字節(jié)數(shù)組后添加字符串。
從上面可以看出，[]byte的內(nèi)存大小也是以倍數(shù)進行申請的，初始大小為 0，第一次為大于當前申請的最大 2 的指數(shù)，不夠進行翻倍.
可以看出如果舊容量小于1024進行翻倍，否則擴展四分之一。（2048 byte 后，申請策略的調(diào)整）。
其次String()方法與Buffer的string方法也有明顯區(qū)別。Buffer的string是一種強轉(zhuǎn)，我們知道在強轉(zhuǎn)的時候是需要進行申請空間，并拷貝的。而Builder只是指針的轉(zhuǎn)換。
這里我們解析一下 *(*string)(unsafe.Pointer(b.buf)) 這個語句的意思。
先來了解下unsafe.Pointer 的用法。
也就是說，unsafe.Pointer 可以轉(zhuǎn)換為任意類型，那么意味著，通過unsafe.Pointer媒介，程序繞過類型系統(tǒng)，進行地址轉(zhuǎn)換而不是拷貝。
即*A = Pointer = *B
就像上面例子一樣，將字節(jié)數(shù)組轉(zhuǎn)為unsafe.Pointer類型，再轉(zhuǎn)為string類型，s和b中內(nèi)容一樣，修改b,s也變了，說明b和s是同一個地址。但是對s重新賦值后，意味著s的地址指向了“WORLD”,它們所使用的內(nèi)存空間不同了，所以s改變后，b并不會改變。
所以他們的區(qū)別就在于 bytes.Buffer 是重新申請了一塊空間，存放生成的string變量， 而strings.Builder直接將底層的[]byte轉(zhuǎn)換成了string類型返回了回來，去掉了申請空間的操作。
GO語言學習系列八——GO函數(shù)(func)的聲明與使用
GO是編譯性語言，所以函數(shù)的順序是無關緊要的，為了方便閱讀，建議入口函數(shù) main 寫在最前面，其余函數(shù)按照功能需要進行排列
GO的函數(shù) 不支持嵌套，重載和默認參數(shù)
GO的函數(shù) 支持 無需聲明變量，可變長度，多返回值，匿名，閉包等
GO的函數(shù)用 func 來聲明，且左大括號 { 不能另起一行
一個簡單的示例：
輸出為：
參數(shù)：可以傳0個或多個值來供自己用
返回：通過用 return 來進行返回
輸出為：
上面就是一個典型的多參數(shù)傳遞與多返回值
對例子的說明：
按值傳遞：是對某個變量進行復制，不能更改原變量的值
引用傳遞：相當于按指針傳遞，可以同時改變原來的值，并且消耗的內(nèi)存會更少，只有4或8個字節(jié)的消耗
在上例中，返回值 (d int, e int, f int) { 是進行了命名，如果不想命名可以寫成 (int,int,int){ ,返回的結(jié)果都是一樣的，但要注意:
當返回了多個值，我們某些變量不想要，或?qū)嶋H用不到，我們可以使用 _ 來補位，例如上例的返回我們可以寫成 d,_,f := test(a,b,c) ，我們不想要中間的返回值，可以以這種形式來舍棄掉
在參數(shù)后面以 變量 ... type 這種形式的，我們就要以判斷出這是一個可變長度的參數(shù)
輸出為：
在上例中， strs ...string 中， strs 的實際值是b,c,d,e,這就是一個最簡單的傳遞可變長度的參數(shù)的例子，更多一些演變的形式，都非常類似
在GO中 defer 關鍵字非常重要，相當于面相對像中的析構(gòu)函數(shù)，也就是在某個函數(shù)執(zhí)行完成后，GO會自動這個；
如果在多層循環(huán)中函數(shù)里，都定義了 defer ,那么它的執(zhí)行順序是先進后出；
當某個函數(shù)出現(xiàn)嚴重錯誤時， defer 也會被調(diào)用
輸出為
這是一個最簡單的測試了，當然還有更復雜的調(diào)用，比如調(diào)試程序時，判斷是哪個函數(shù)出了問題，完全可以根據(jù) defer 打印出來的內(nèi)容來進行判斷，非?？焖?，這種留給你們?nèi)崿F(xiàn)
一個函數(shù)在函數(shù)體內(nèi)自己調(diào)用自己我們稱之為遞歸函數(shù)，在做遞歸調(diào)用時，經(jīng)常會將內(nèi)存給占滿，這是非常要注意的，常用的比如，快速排序就是用的遞歸調(diào)用
本篇重點介紹了GO函數(shù)(func)的聲明與使用，下一篇將介紹GO的結(jié)構(gòu) struct
名稱欄目：go語言內(nèi)存申請進行壓測,go操作內(nèi)存
網(wǎng)頁鏈接：http://www.dlmjj.cn/article/heocij.html
