建站
咨詢
售后
建站咨詢
新聞中心
HBaseCon是Apache HBase官方舉辦的技術(shù)會(huì)議，主要目的是分享，交流HBase這個(gè)開(kāi)源分布式大數(shù)據(jù)存儲(chǔ)的使用和開(kāi)發(fā)以及發(fā)展。HBaseCon發(fā)起于2012年。通常HBaseCon的舉辦地是在美國(guó)，這是HBaseCon***次在亞洲舉行，命名為Apache HBaseCon 2017 Asia。而且這次會(huì)議舉辦地選擇在中國(guó)深圳，也足以見(jiàn)得HBase在中國(guó)的火爆程度和中國(guó)開(kāi)發(fā)者們對(duì)HBase社區(qū)所做的卓越貢獻(xiàn)。
貢山網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián),貢山網(wǎng)站設(shè)計(jì)制作，有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為貢山1000多家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站制作要多少錢，請(qǐng)找那個(gè)售后服務(wù)好的貢山做網(wǎng)站的公司定做！
Apache HBase是基于Apache Hadoop構(gòu)建的一個(gè)分布式、可伸縮的Key-Value數(shù)據(jù)庫(kù)，它提供了大數(shù)據(jù)背景下的高性能的隨機(jī)讀寫能力。做為最早研究、使用和二次開(kāi)發(fā)HBase技術(shù)的中國(guó)公司，阿里巴巴從2010年就開(kāi)始使用HBase，經(jīng)過(guò)近7年的發(fā)展，現(xiàn)在采用HBase存儲(chǔ)的業(yè)務(wù)已經(jīng)超過(guò)1000+，擁有了上萬(wàn)臺(tái)的HBase集群規(guī)模，在HBase上存儲(chǔ)的數(shù)據(jù)已達(dá)PB級(jí)。秉承開(kāi)源和分享的精神，阿里把HBase的實(shí)踐經(jīng)驗(yàn)和改進(jìn)不斷回饋HBase社區(qū)，比如說(shuō)Bucket Cache和Reverse Scan等功能，給HBase技術(shù)發(fā)展帶來(lái)了非常深遠(yuǎn)的影響。同時(shí)，也給HBase社區(qū)培養(yǎng)了2名PMC和2名Committer，阿里在HBase社區(qū)的影響力可見(jiàn)一斑。那么這次HBaseCon 2017 Asia。阿里派出了一位HBase PMC和2位Committer，還有兩位資深的HBase開(kāi)發(fā)，給大家?guī)?lái)了十足的干貨。
阿里干貨系列
一、強(qiáng)同步復(fù)制
傳統(tǒng)的HBase主備集群同步使用的方案是異步復(fù)制，這使得主備集群數(shù)據(jù)之間會(huì)有短暫的數(shù)據(jù)不同步現(xiàn)象。用戶為了災(zāi)備，不得不放棄強(qiáng)一致模型。沒(méi)法放棄強(qiáng)一致語(yǔ)義的用戶，必須自己寫一套復(fù)雜的邏輯來(lái)保證主備集群之間數(shù)據(jù)的讀寫一致性。阿里的HBase技術(shù)專家天引，在此次的HBaseCon Asia上給大家?guī)?lái)了強(qiáng)同步復(fù)制方案。
據(jù)天引介紹，強(qiáng)同步復(fù)制方案采用了主備并發(fā)寫和RemoteLog技術(shù)，使得在同城網(wǎng)絡(luò)條件下同步復(fù)制相對(duì)于異步復(fù)制僅有2%的吞吐量下降。當(dāng)一個(gè)請(qǐng)求到達(dá)主庫(kù)后，并發(fā)寫本地和備庫(kù)，到達(dá)備庫(kù)的同步寫不需要走完整的寫入路徑，而是直接寫入RemoteLog，降低同步寫開(kāi)銷與延時(shí)。除了同步鏈路外，還有一套異步鏈路將數(shù)據(jù)從主庫(kù)復(fù)制到備庫(kù)，因此正常情況下不需要回放RemoteLog的數(shù)據(jù)到備庫(kù)，在主庫(kù)不可服務(wù)的情況下，只需要回放RemoteLog中那些還沒(méi)有被異步復(fù)制鏈路同步到備庫(kù)的數(shù)據(jù)，異步復(fù)制只有幾秒鐘的數(shù)據(jù)延遲，這保證了可以在很短的時(shí)間內(nèi)完成從主庫(kù)到備庫(kù)的切換。
此方案在大會(huì)現(xiàn)場(chǎng)引起了強(qiáng)烈反響，很多HBase用戶表示這是他們期待已久的功能，希望能盡快使用上。天引表示此功能目前基于阿里內(nèi)部分支實(shí)現(xiàn)、運(yùn)行及完善，未來(lái)將會(huì)回饋給社區(qū)。
二、SQL on HBase
阿里HBase服務(wù)了大量的內(nèi)部用戶，并持續(xù)有新用戶接入。但是使用HBase的用戶有很大一部分是從傳統(tǒng)的SQL數(shù)據(jù)庫(kù)轉(zhuǎn)過(guò)來(lái)的，HBase的rowkey設(shè)計(jì)和API的使用習(xí)慣對(duì)于他們來(lái)說(shuō)并不友好。為了降低這些轉(zhuǎn)型用戶的使用門檻，阿里在HBase上引入了SQL層。來(lái)自阿里的資深HBase開(kāi)發(fā)工程師天穆，給大家詳細(xì)講解了如何玩轉(zhuǎn)SQL on HBase。
通過(guò)優(yōu)化，現(xiàn)在在阿里使用SQL訪問(wèn)HBase和原生API的速度已經(jīng)相差無(wú)幾，而且在SQL語(yǔ)法上，創(chuàng)造性地支持HBase多版本和時(shí)間戳等NoSQL才具有的功能。
另外，在HBase上同時(shí)支持了全局二級(jí)索引和本地二級(jí)索引。使用戶可以在多列上建立索引，簡(jiǎn)化了業(yè)務(wù)的設(shè)計(jì)，提升了請(qǐng)求效率，降低了使用成本。
三、跨集群分區(qū)拷貝
HBase上通常承載著海量的數(shù)據(jù)，而在日常生產(chǎn)過(guò)程中，隨著業(yè)務(wù)的發(fā)展和公司數(shù)據(jù)中心的規(guī)劃等原因，這些海量數(shù)據(jù)需要經(jīng)常搬遷，這通常對(duì)于運(yùn)維來(lái)說(shuō)是一個(gè)非常頭疼的問(wèn)題。來(lái)自阿里的HBase社區(qū)Committer正研，分享了阿里跨集群分區(qū)拷貝的場(chǎng)景和成熟解決方案。
正研首先介紹了在阿里內(nèi)部常見(jiàn)的需要數(shù)據(jù)拷貝的場(chǎng)景，比如說(shuō)新建數(shù)據(jù)中心，HBase集群需要整體搬遷到新的機(jī)房;又比如說(shuō)不同機(jī)房?jī)?nèi)的HBase集群的增量數(shù)據(jù)同步，可以用replication來(lái)解決，但是對(duì)于存量數(shù)據(jù)，目前還沒(méi)有比較高效的方案;另外還一個(gè)常見(jiàn)場(chǎng)景就是數(shù)據(jù)恢復(fù)，而傳統(tǒng)的HBase備份還原工具都沒(méi)法控制數(shù)據(jù)恢復(fù)的范圍。
因此，阿里研發(fā)了Range Data Copy功能內(nèi)置在HBase中，提供了一個(gè)簡(jiǎn)單高效，而且能夠自動(dòng)處理各種錯(cuò)誤情況和災(zāi)難恢復(fù)的數(shù)據(jù)拷貝功能，使用這個(gè)功能拷貝一張200TB的表到另外一個(gè)集群，所需時(shí)間不到5小時(shí)。
四、讀寫鏈路優(yōu)化
在阿里使用HBase的過(guò)程中，對(duì)HBase本身做了非常多的讀寫性能優(yōu)化。來(lái)自阿里的HBase社區(qū)PMC絕頂和Committer天照，一起給大家分享了阿里在這方面所取得的一些成果。
1、使用Netty替代HBase原生的RPC server，大大提升了HBaseRPC的吞吐能力，降低了延遲 ;
2、 引入新的HFileBlock編碼格式，把順序搜索變成了二分查找，提高了HBase隨機(jī)讀的能力
3、拆分寫鏈路，釋放阻塞的handler資源，提高了HBase寫的吞吐能力 ;
來(lái)自阿里的這些優(yōu)化黑科技，使HBase的能力又更上一個(gè)新臺(tái)階。并且這些優(yōu)化和功能目前已經(jīng)回饋給了社區(qū)，所有的HBase用戶都能在新版本的使用獲得這些技術(shù)紅利。
總結(jié)
除了阿里帶來(lái)的技術(shù)分享，現(xiàn)場(chǎng)許多其他公司也都帶來(lái)了他們對(duì)HBase做出的改進(jìn)和使用經(jīng)驗(yàn)。比如說(shuō)小米實(shí)現(xiàn)了AsyncClient，填補(bǔ)了HBase沒(méi)有原生異步API的缺口;知乎使用kubernetes自動(dòng)擴(kuò)容縮容HBase集群，靈活地適應(yīng)業(yè)務(wù)高速發(fā)展和瞬息萬(wàn)變;烽火網(wǎng)絡(luò)隔離讀寫資源使近線查詢更加穩(wěn)定等等。
除了上述提到的這幾個(gè)亮點(diǎn)技術(shù)分享，此次HBaseCon大會(huì)的每一個(gè)session都非常精彩，給大家?guī)?lái)了一場(chǎng)又一場(chǎng)思維碰撞的盛宴。Apache HBase“掌門人”Michael Stack也參加了此次會(huì)議，并與HBase開(kāi)發(fā)者們舉行了一次圓桌會(huì)議，共同探討HBase的現(xiàn)狀和未來(lái)。
這次HBaseCon的火爆程度，直接展示了國(guó)內(nèi)企業(yè)和開(kāi)發(fā)者們對(duì)HBase熱情和期望。HBaseCon大會(huì)不僅給HBase的使用者們帶來(lái)了***鮮的技術(shù)進(jìn)展，互通有無(wú)，吸收其他公司的先進(jìn)經(jīng)驗(yàn);也成為HBase使用者和開(kāi)發(fā)者之間溝通的橋梁，能讓開(kāi)發(fā)者們看到業(yè)界動(dòng)態(tài)，用戶的需求，共同把HBase打造成一個(gè)更加易用，更高性能，更穩(wěn)定的大數(shù)據(jù)存儲(chǔ)。這次HBaseCon大會(huì)是一個(gè)很好的開(kāi)端，期望HBaseCon Asia越辦越好，給大家?guī)?lái)更多的干貨!
***
如果你對(duì)大數(shù)據(jù)在線存儲(chǔ)、對(duì)HBase感興趣，或者是想更好地使用HBase、開(kāi)發(fā)更NB的產(chǎn)品，歡迎聯(lián)系我們(正研，zhengyan.ywl@alibaba-inc.com)，一起交流，互相學(xué)習(xí)!
作者簡(jiǎn)介：
楊文龍，花名正研，阿里巴巴存儲(chǔ)技術(shù)事業(yè)部資深研發(fā)，HBase開(kāi)源社區(qū)Committer。開(kāi)源技術(shù)愛(ài)好者，對(duì)分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)、實(shí)踐具備豐富的大規(guī)模生產(chǎn)的經(jīng)驗(yàn)。
標(biāo)題名稱：阿里5位嘉賓3個(gè)分享：HBaseConAsia2017干貨滿滿
分享URL：http://www.dlmjj.cn/article/dhehccc.html
