建站
咨詢
售后
建站咨詢
新聞中心
“內(nèi)存是新的硬盤，硬盤是新的磁帶”此話出自圖靈獎得主Jim Gray。
一、前言
我理解這句話的意思是，我們應(yīng)該把隨機(jī)IO都放到內(nèi)存中去，而把像磁帶一樣的順序IO留給硬盤（這里不包括SSD）。
如果應(yīng)用沒有達(dá)到一定的級別，可能我們看上面兩句話都會覺得太geek，然而在應(yīng)用數(shù)據(jù)量日益龐大，動態(tài)內(nèi)容比例日益增大的今天，再忽視這個基本準(zhǔn)則將會是一個災(zāi)難。
今天我們談一下這一理論在NoSQL產(chǎn)品中的展現(xiàn)。
二、實現(xiàn)
問題一：宕機(jī)數(shù)據(jù)丟失
我們先看一下幾個杰出的NoSQL代表，Cassandra，MongoDB，Redis。他們幾乎都使用了同一種存儲模式，就是將寫操作在內(nèi)存中進(jìn)行，定時或按某一條件將內(nèi)存中的數(shù)據(jù)直接寫到磁盤上。這樣做的好處是我們可以充分利用內(nèi)存在隨機(jī)IO上的優(yōu)勢，而避免了直接寫磁盤帶來的隨機(jī)IO瓶頸：磁盤尋道時間。當(dāng)然，壞處就是如果遭遇宕機(jī)等問題時，可能會丟失一些數(shù)據(jù)。
解決宕機(jī)丟數(shù)據(jù)的問題有兩個方法：
1.實時記錄操作日志
這時通常的做法是當(dāng)一個寫操作到達(dá)，系統(tǒng)首先會往日志文件里追加一條寫記錄，成功后再操作內(nèi)存進(jìn)行寫數(shù)據(jù)操作。而由于日志文件是不斷追加的，因此也就保證了不會有大量的隨機(jī)IO產(chǎn)生。
2.Quorum NRW
這一理論是基于集群式存儲的，其原理是如果集群有N個結(jié)點，那么如果我們每次寫操作需要至少同步到W個結(jié)點才算成功，而每次讀操作只要從R個結(jié)點讀數(shù)據(jù)就一定能保證其得到正確結(jié)果（如果某一結(jié)點有此數(shù)據(jù)，既成功，如果所有R個結(jié)點都無數(shù)據(jù)，則說明無此數(shù)據(jù)）。而NRW之間的關(guān)系必須滿足N < R + W 。其實這一理論并不難理解，我們可以將這個不等式做一下移項：R > N – W ，我們有N個結(jié)點，寫的時候最少寫W個才算成功，也就是W個結(jié)點有這份數(shù)據(jù)，那么N-W就是說可能沒有某一份數(shù)據(jù)的最大結(jié)點數(shù)。最多可能有N-W個結(jié)點沒有某一數(shù)據(jù)，那如果我們進(jìn)行數(shù)據(jù)讀取操作時，讀到大于N-W個結(jié)點，那么必然有一個以上的結(jié)點是有這份數(shù)據(jù)的。所以要求R > N-W。
所以可能你已經(jīng)想明白了，為了防止數(shù)據(jù)丟失，我們采用的實際是簡單的冗余備份的方法。數(shù)據(jù)寫到多臺機(jī)器會比寫單臺機(jī)器的磁盤快嗎？對。相對于直接的磁盤操作，跨網(wǎng)絡(luò)進(jìn)行內(nèi)存操作可以更快。其最簡單的例子就是改進(jìn)的一致性hash：
上圖摘自Amazon的Dynamo文檔，key的hash值位于A，B結(jié)點間的數(shù)據(jù)，并不是只存在B結(jié)點上，而是順著環(huán)的方向分別在C和D結(jié)點進(jìn)行備份。當(dāng)然這樣做的好處并不完全在于上面說的冗余備份。
當(dāng)然，很多時候是上面兩種解決方法同時使用以保證數(shù)據(jù)的高可用性。
問題二：內(nèi)存容量的限制
當(dāng)我們將內(nèi)存當(dāng)作硬盤來用的時候，我們必然會面臨容量問題。這也是我們上面說到的數(shù)據(jù)會定時flush到磁盤的原因，當(dāng)內(nèi)存中的數(shù)據(jù)已經(jīng)超出可用內(nèi)存的大小，那么我們就需要將其進(jìn)行落地操作，對swap的過度使用是不符合我們初衷的，也是達(dá)不到高效隨機(jī)IO的效果的。這里也有兩種解決方案：
1.應(yīng)用層swap
采用這種方法的有TokyoCabinet和Redis兩個產(chǎn)品。TokyoCabinet主要是通過mmap提高IO效率，而其mmap到的只有數(shù)據(jù)文件頭部的一部分內(nèi)容。一旦數(shù)據(jù)文件大于其設(shè)置的最大mmap長度（由參數(shù)xmsize控制），那剩下的部分就是純粹的低效磁盤操作了。于是它提供了一種類似于Memcached的緩存機(jī)制，通過參數(shù)rcnum配置，將一些通過LRU機(jī)制篩選出來的熱數(shù)據(jù)進(jìn)行key—value式的緩存，這一部分內(nèi)存是和mmap占用的內(nèi)存完全獨立的。同樣的，Redis在2.0版本之后增加了對磁盤存儲的支持，其機(jī)制與TokyoCabinet類似，也是通過數(shù)據(jù)操作來判斷數(shù)據(jù)的熱度，并將熱數(shù)據(jù)盡量放到內(nèi)存中。
2.多版本的數(shù)據(jù)合并
什么叫多版本的數(shù)據(jù)合并呢？我們上面講Bigtable，或其開源版本Cassandra，都是通過定時將內(nèi)存中的數(shù)據(jù)塊flush到磁盤中，那么我們會想，如果這次是一個update操作，比如keyA的值從ValueA變成了ValueB，那么我們在flush到磁盤的時候就得執(zhí)行對老數(shù)據(jù)ValueA的清除工作了。而這樣，是否就達(dá)不到我們希望進(jìn)行順序的磁盤IO的目的呢？沒錯，這樣是達(dá)不到的，所以Bigtable類型的系統(tǒng)確實也并不是這樣做的，在flush磁盤的時候，并不會執(zhí)行合并操作，而是直接將內(nèi)存數(shù)據(jù)寫入磁盤。這樣寫是方便很多，那讀的時候可能會存在一個值有多個版本的情況，這時就需要我們來進(jìn)行多版本合并了。所以第二種方法就是將一段時間的寫操作寫成一個塊（可能并非一個文件），保證內(nèi)存的使用不會無限膨脹。在讀取時通過讀多個文件塊進(jìn)行數(shù)據(jù)版本合并來完成。
那如果存儲在磁盤的數(shù)據(jù)量是內(nèi)存容量的很多倍，我們可能會產(chǎn)生許多個數(shù)據(jù)塊，那么我們在獲取數(shù)據(jù)版本時，是否需要全部遍歷所有數(shù)據(jù)塊呢？當(dāng)然不用，如果你看過BigTable論文，相信你還記得它其中用到了bloom-filter算法。bloom-filter算法最廣泛的應(yīng)用是在搜索引擎爬蟲中，它用于判斷一個URL是否存在于已抓取集合中，這一算法并不百分之百精準(zhǔn)（可能將不在集合中的數(shù)據(jù)誤判為在集合中，但不會出現(xiàn)相反的誤差），但其在時間復(fù)雜度上僅是幾次hash計算，而空間復(fù)雜度也非常低。Bigtable實現(xiàn)中也用到了bloom-filter算法，用它來判斷一個值是否在某一個集合中。而由于bloom-filter算法的特點，我們只會多讀（幾率很?。粫僮x數(shù)據(jù)塊。于是我們就實現(xiàn)對遠(yuǎn)遠(yuǎn)大于物理內(nèi)存容量的數(shù)據(jù)的存儲。
三、結(jié)尾
好了，就寫到這里，關(guān)于NoSQL中對此原理的應(yīng)用還有更多理解和認(rèn)識的同學(xué)，歡迎交流。
原文鏈接：http://lgone.com/html/y2010/801.html
【編輯推薦】
- NoSQL數(shù)據(jù)庫Apache CouchDB 0.11.0發(fā)布
- 關(guān)于NoSQL數(shù)據(jù)庫你應(yīng)該知道的10件事
- 細(xì)數(shù)那些運行在微軟平臺上的NoSQL數(shù)據(jù)庫
- 用NoSQL來替代MySQL在Digg中的原因
- 詳解NoSQL數(shù)據(jù)庫使用實例
網(wǎng)頁標(biāo)題：NoSQL理論研究：內(nèi)存是新的硬盤，硬盤是新的磁帶
地址分享：http://www.dlmjj.cn/article/cohiegc.html
