云計算背后的秘密（2）-gfs

2010-11-25 10:05:51
云計算 由于搜索引擎需要處理海量的數(shù)據(jù)，所以Google的兩位創(chuàng)始人Larry Page和Sergey Brin在創(chuàng)業(yè)初期設計一套名為“BigFiles”的文件系統(tǒng)，而GFS（全稱為“Google File System”）這套分布式文件系統(tǒng)則是“BigFiles”的延續(xù)。

10年的博湖網(wǎng)站建設經驗，針對設計、前端、開發(fā)、售后、文案、推廣等六對一服務，響應快，48小時及時工作處理。成都營銷網(wǎng)站建設的優(yōu)勢是能夠根據(jù)用戶設備顯示端的尺寸不同，自動調整博湖建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調整網(wǎng)站的寬度，無論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設計，從而大程度地提升瀏覽體驗。創(chuàng)新互聯(lián)建站從事“博湖網(wǎng)站設計”,“博湖網(wǎng)站推廣”以來，每個客戶項目都認真落實執(zhí)行。

由于周日Linode在加州機房出現(xiàn)停電事故，所以這兩天PeopleYun沒法訪問，在這里向大家表示歉意

由于搜索引擎需要處理海量的數(shù)據(jù)，所以Google的兩位創(chuàng)始人Larry Page和Sergey Brin在創(chuàng)業(yè)初期設計一套名為“BigFiles”的文件系統(tǒng)，而GFS（全稱為“Google File System”）這套分布式文件系統(tǒng)則是“BigFiles”的延續(xù)。

技術概覽

首先，介紹它的架構，GFS主要分為兩類節(jié)點：其一是Master節(jié)點，其主要存儲與數(shù)據(jù)文件相關的元數(shù)據(jù)，而不是Chunk（數(shù)據(jù)塊）。元數(shù)據(jù)包括一個能將64位標簽映射到數(shù)據(jù)塊的位置及其組成文件的表格，數(shù)據(jù)塊副本位置和哪個進程正在讀寫特定的數(shù)據(jù)塊等。還有Master節(jié)點會周期性地接收從每個Chunk節(jié)點來的更新（“Heart-beat”）來讓元數(shù)據(jù)保持最新狀態(tài)；其二是Chunk節(jié)點，它主要用于存儲數(shù)據(jù)。在每個Chunk節(jié)點上，數(shù)據(jù)文件會以每個默認大小為64MB Chunk的方式存儲，而且每個Chunk有唯一一個64位標簽，并且每個Chunk都會在整個分布式系統(tǒng)被復制多次，默認次數(shù)為3。下圖就是GFS的架構圖：

圖1. GFS的架構圖

接著，在設計上，GFS主要有八個特點：

大文件和大數(shù)據(jù)塊：數(shù)據(jù)文件的大小普遍在GB級別，而且其每個數(shù)據(jù)塊默認大小為64MB，這樣做的好處是減少了元數(shù)據(jù)的大小，從而能使Master節(jié)點能夠非常方便地將元數(shù)據(jù)都放置在內存中以提升訪問效率。

操作以添加為主：文件很少會被刪減或者覆蓋，通常只是進行添加或者讀取操作，這樣能充分考慮到硬盤線性吞吐量大，但隨機讀寫慢的特點。

支持容錯：首先，雖然當時為了設計方便，采用了單Master的方案，但是整個系統(tǒng)會保證Master節(jié)點會有其相對應的替身（Shadow），以便于當Master節(jié)點出現(xiàn)問題時進行切換。其次，在Chunk層，GFS已經在設計上將節(jié)點失敗視為常態(tài)，所以能非常好地處理Chunk節(jié)點失效的問題。

高吞吐量：雖然以單個節(jié)點來看，GFS的性能無論是從吞吐量還是延遲都很普通，但因為其支持上千的節(jié)點，所以總的數(shù)據(jù)吞吐量是非常驚人的。

保護數(shù)據(jù)：文件被分割成固定尺寸的數(shù)據(jù)塊以便于保存，而且每個數(shù)據(jù)塊都會被系統(tǒng)至少復制三份。

擴展能力強：因為元數(shù)據(jù)偏小，使得一個Master節(jié)點能控制和管理上千個存數(shù)據(jù)的Chunk節(jié)點。

支持壓縮：對于那些稍舊的文件，可以通過對它進行壓縮，來節(jié)省硬盤空間，并且壓縮率非常驚人，有時甚至接近90%。

基于用戶空間：GFS主要運行于系統(tǒng)的用戶空間（User Time），雖然在效率方面，用戶空間比內核空間略低，但是更便于開發(fā)和測試，還有，就是能更好利用linux的自帶的一些POSIX API。

優(yōu)劣點

由于GFS主要是為了存儲海量搜索數(shù)據(jù)而設計的，所以它在吞吐量（Throughput）和伸縮性（Scalability）這兩方面表現(xiàn)非常優(yōu)異，可謂業(yè)界的“翹楚”，但是由于其主要以64MB數(shù)據(jù)塊形式存儲，所以在隨機訪問方面速度并不優(yōu)秀，雖然這點可謂是它的“軟肋”，但是這本身也是其當初為了吞吐量和伸縮性所做的權衡。

相關產品

和MapReduce相似的是，GFS在開源界也有其對應的產品，最出名的是HDFS分布式文件系統(tǒng)，在功能和設計上，HDFS從GFS身上借鑒了很多東西，而且由于其本身就是Hadoop系列的一部分，所以它為了更好Hadoop這個MapReduce框架做了很多優(yōu)化。

實際用例

現(xiàn)在Google內部至少運行著200多個GFS集群，最大的集群有幾千臺服務器，數(shù)據(jù)量是PB級別的，并且服務于多個Google服務，包括Google搜索和Google Earth等。同時，在最近幾年，由于上面提到的高延遲問題，所以GFS并不很適合新的一些Google產品，比YouTube、Gmail和非常強調實時性的Caffeine搜索引擎等，所以Google已經在開發(fā)下一代GFS，代號為“Colossus”，并且在設計方面有許多不同，比如，支持分布式Master節(jié)點來提升高可用性并支撐更多文件和chunk節(jié)點能支持1MB大小的chunk以支撐低延遲應用的需要等，希望等Colossus成熟的時候，Google也能像當初GFS那樣，將其設計的細節(jié)和經驗拿出來和大家分享。

本文名稱：云計算背后的秘密（2）-GFS
當前URL：http://www.dlmjj.cn/article/dhijgjs.html