建站
咨詢
售后
建站咨詢
新聞中心
Hive是一個數(shù)據(jù)倉庫工具，它可以幫助用戶輕松管理和存儲海量數(shù)據(jù)。但是，當(dāng)需要將Hive數(shù)據(jù)庫遷移到遠(yuǎn)程服務(wù)器時，可能會遇到一些困難。在本教程中，我們將分享一些Hive數(shù)據(jù)庫遠(yuǎn)程遷移的技巧，以幫助您快速搬家。
我們提供的服務(wù)有：成都網(wǎng)站設(shè)計、成都做網(wǎng)站、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、南昌縣ssl等。為1000多家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的南昌縣網(wǎng)站制作公司
之一步：備份Hive數(shù)據(jù)庫
在進(jìn)行任何數(shù)據(jù)庫遷移之前，首先需要備份您的Hive數(shù)據(jù)庫?？梢允褂靡韵旅顒?chuàng)建一個全面的Hive數(shù)據(jù)庫備份：
“`bash
sudo tar -czvf hive-backup.tar.gz /var/lib/hive*
“`
這將以tar.gz格式壓縮/var/lib/hive*目錄及其子目錄中的所有文件，并將其保存到hive-backup.tar.gz文件中。
第二步：將備份文件轉(zhuǎn)移到新服務(wù)器
將備份文件從當(dāng)前服務(wù)器傳輸?shù)叫路?wù)器?？梢允褂靡韵旅钍褂胹cp從一個服務(wù)器復(fù)制文件到另一個服務(wù)器：
“`bash
scp /path/to/hive-backup.tar.gz username@server1:/path/to/destination
“`
在這個例子中，username是在新服務(wù)器上創(chuàng)建的用戶，server1是新服務(wù)器的名稱或IP地址，/path/to/destination是您希望在新服務(wù)器上存儲備份文件的路徑和文件名。
第三步：安裝和配置Hive
在新服務(wù)器上安裝和配置Hive以匹配舊服務(wù)器上的設(shè)置。這包括Hive二進(jìn)制文件、配置文件、腳本和依賴項。可以使用以下命令在新服務(wù)器上安裝Hive：
“`bash
sudo apt-get install hive
“`
在安裝完成后，您需要配置Hive以與舊服務(wù)器相匹配?？梢允褂靡韵旅罹庉婬ive配置文件：
“`bash
sudo nano /etc/hive/conf/hive-site.xml
“`
在該文件中，可以配置Hive的名稱節(jié)點(diǎn)、URL、數(shù)據(jù)庫驅(qū)動程序和其他相關(guān)設(shè)置。
第四步：將備份文件還原到新服務(wù)器
在新服務(wù)器上，使用以下命令解壓縮備份文件：
“`bash
sudo tar -xzvf /path/to/hive-backup.tar.gz -C /var/lib/hive
“`
這將解壓縮所有hive-backup.tar.gz中的文件，并將其還原到/var/lib/hive目錄中。請確保在還原備份文件之前關(guān)閉Hive。
第五步：啟動Hive和驗(yàn)證遷移
在還原備份文件后，可以使用以下命令啟動Hive：
“`bash
sudo service hive-server2 start
“`
將Hive遷移到遠(yuǎn)程服務(wù)器，驗(yàn)證遷移是否成功。可以使用以下命令登錄到Hive并檢查數(shù)據(jù)是否能正確訪問：
“`bash
hive
“`
在Hive提示符下，可以運(yùn)行任何Hive查詢來驗(yàn)證遷移是否成功。
在本教程中，我們分享了一些Hive數(shù)據(jù)庫遠(yuǎn)程遷移的技巧，以幫助您快速搬家?，F(xiàn)在，您應(yīng)該能夠備份Hive數(shù)據(jù)庫、將備份文件轉(zhuǎn)移到新服務(wù)器、在新服務(wù)器上安裝和配置Hive、將備份文件還原到新服務(wù)器、啟動Hive并驗(yàn)證遷移是否成功。如果您在使用Hive數(shù)據(jù)庫遷移過程中遇到任何問題，可以隨時參考這篇文章。
相關(guān)問題拓展閱讀：
- 為什么使用Hive？Hive提供了什么？Hive支持哪些用戶
- hive數(shù)據(jù)庫怎么建表和數(shù)據(jù)裝載
為什么使用Hive？Hive提供了什么？Hive支持哪些用戶
為什么使用Hive？
為什么使用Hive？那么，在哪里使用Hive呢？在載入了60億行（經(jīng)度、維度、時間、數(shù)據(jù)值、高度）數(shù)據(jù)集到MySQL后，系統(tǒng)崩潰了，并經(jīng)歷過數(shù)據(jù)丟失。這可能部分是因?yàn)槲覀冏畛醯牟呗允菍⑺械臄?shù)據(jù)都存儲到單一的一張表中了。后來，我們調(diào)整了策略通過數(shù)據(jù)集和參數(shù)進(jìn)行分表，這有所幫助但也因此引入了額外的消耗，而這并非是我們愿意接受的。
相反，我們決定嘗試使用Apache Hive技術(shù)。我們安裝了Hive 0.5 + 20，使用CDHv3和Apache Hadoop(+ 320)。CDHv3還包含有許多其他相關(guān)工具，包括Sqoop和Hue這些在我們的架構(gòu)中都標(biāo)識出來了，如圖23-3底部所示。
我們使用Apache Sqoop轉(zhuǎn)儲數(shù)據(jù)到Hive中，然后纖滑通過寫一個Apache OODT包裝器，來使Hive按照空間/時間約束查詢數(shù)據(jù)，然后將結(jié)果提供給RCMET和其他用戶(圖23-2中間部分顯示)。RCMES集群的完整的架構(gòu)如圖23- 3所示。我們有5臺機(jī)器，包括圖中所示的一個主/從配置，通過一個運(yùn)行GigE的私人網(wǎng)進(jìn)行連接。
Hive提供了什么
Photobucket公司使用Hive的主要目標(biāo)是為業(yè)務(wù)功能、系統(tǒng)性能和用戶行為提供答案。為了滿足這些需求，我們每晚都要通過Flume從數(shù)百臺服務(wù)器上的MySQL數(shù)據(jù)庫中轉(zhuǎn)儲來自Web服務(wù)器和自定義格式日志TB級別的數(shù)據(jù)。這些數(shù)據(jù)有助于支持整個公司許多組織，比如行政管理、廣告、客戶支持、產(chǎn)品開發(fā)和操作，等等。對于歷史數(shù)據(jù)，我們保持所有MySQL在每月的之一天創(chuàng)建的所有的毀培臘數(shù)據(jù)作為分區(qū)數(shù)據(jù)并保留30天以上的日志文件。Photobucket使用一個定制的ETL框架來將MySQL數(shù)據(jù)庫中數(shù)據(jù)遷移到Hive中。使用Flume將日志文件數(shù)據(jù)寫入到HDFS中并按照預(yù)定的Hive流程進(jìn)行處理。
Hive支持的用戶有哪些
行政管理依賴于使用Hadoop提供一般業(yè)務(wù)健康狀況的報告。Hive允許我們解析結(jié)構(gòu)化數(shù)據(jù)庫數(shù)據(jù)和非結(jié)構(gòu)化的點(diǎn)擊流數(shù)據(jù)，以及業(yè)務(wù)所涉及的數(shù)據(jù)格式進(jìn)行讀取。
廣告業(yè)務(wù)使用Hive篩選歷史數(shù)據(jù)來對廣告目標(biāo)進(jìn)行預(yù)測和定義配額。產(chǎn)品開發(fā)無疑是該組織中產(chǎn)生更大數(shù)量的特定的查詢的用戶了。對于任何用戶群，時間間隔變化或隨時間而變化。Hive是很重要的，因?yàn)樗试S我們通過對在當(dāng)前和歷史數(shù)據(jù)中運(yùn)行A / B測試來判斷在一個快速變化的用戶環(huán)境中新產(chǎn)品的相關(guān)特性。
在Photobucket公司中，為我們的用戶提供一流的系統(tǒng)是最重要的目標(biāo)。從操作的角度來看，Hive被用來匯總生成跨多個維度的數(shù)據(jù)。在公司里知道更流行的媒體、用戶、參考域是非常重要的?？刂瀑M(fèi)中租用對于任何組織都是重要的。一個用戶可以快速消耗大量的系統(tǒng)資源，并顯著增加每月的支出。Hive可以用于識別和分析出這樣的惡意用戶，以確定哪些是符合我們的服務(wù)條款，而哪些是不符合的。也可以使用Hive對一些操作運(yùn)行A / B測試來定義新的硬件需求和生成ROI計算。Hive將用戶從底層MapReduce代碼解放出來的能力意味著可以在幾個小時或幾天內(nèi)就可以獲得答案，而不是之前的數(shù)周。
Hive中的數(shù)據(jù)庫
Hive中數(shù)據(jù)庫的概念本質(zhì)上僅僅是表的一個目錄或者命名空間。然而，對于具有很多組和用戶的大集群來說，這是非常有用的，因?yàn)檫@樣可以避免表命名沖突。通常會使用數(shù)據(jù)庫來將生產(chǎn)表組織成邏輯組。
如果用戶沒有顯式指定數(shù)據(jù)庫，那么將會使用默認(rèn)的數(shù)據(jù)庫default。
下面這個例子就展示了如何創(chuàng)建一個數(shù)據(jù)庫：
hive> CREATE DATABASE financials;
如果數(shù)據(jù)庫financials已經(jīng)存在的話，那么將會拋出一個錯誤信息。使用如下語句可以避免在這種情況下拋出錯誤信息：
hive> CREATE DATABASE IF NOT EXISTS financials;
雖然通常情況下用戶還是期望在同名數(shù)據(jù)庫已經(jīng)存在的情況下能夠拋出警告信息的，但是IF NOT EXISTS這個子句對于那些在繼續(xù)執(zhí)行之前需要根據(jù)需要實(shí)時創(chuàng)建數(shù)據(jù)庫的情況來說是非常有用的。
在所有的數(shù)據(jù)庫相關(guān)的命令中，都可以使用SCHEMA這個關(guān)鍵字來替代關(guān)鍵字TABLE。
隨時可以通過如下命令方式查看Hive中所包含的數(shù)據(jù)庫：
hive> SHOW DATABASES;
default
financials
hive> CREATE DATABASE human_resources;
hive> SHOW DATABASES;
default
financials
human_resources
如果數(shù)據(jù)庫非常多的話，那么可以使用正則表達(dá)式匹配來篩選出需要的數(shù)據(jù)庫名，正則表達(dá)式這個概念，將會在第6.2.3節(jié)“Like和RLike”介紹。下面這個例子展示的是列舉出所有以字母h開頭，以其他字符結(jié)尾（即.*部分含義）的數(shù)據(jù)庫名：
hive> SHOW DATABASES LIKE ‘h.*’;
human_resources
hive> …
Hive會為每個數(shù)據(jù)庫創(chuàng)建一個目錄。數(shù)據(jù)庫中的表將會以這個數(shù)據(jù)庫目錄的子目錄形式存儲。有一個例外就是default數(shù)據(jù)庫中的表，因?yàn)檫@個數(shù)據(jù)庫本身沒有自己的目錄。
數(shù)據(jù)庫所在的目錄位于屬性hive.metastore.warehouse.dir所指定的頂層目錄之后，這個配置項我們已經(jīng)在前面的第2.5.1節(jié)“本地模式配置”和第2.5.2節(jié)“分布式模式和偽分布式模式配置”中進(jìn)行了介紹。假設(shè)用戶使用的是這個配置項默認(rèn)的配置，也就是/user/hive/warehouse，那么當(dāng)我們創(chuàng)建數(shù)據(jù)庫financials時，Hive將會對應(yīng)地創(chuàng)建一個目錄/user/hive/warehouse/financials.db。這里請注意，數(shù)據(jù)庫的文件目錄名是以.db結(jié)尾的。
用戶可以通過如下的命令來修改這個默認(rèn)的位置：
hive> CREATE DATABASE financials
> LOCATION ‘/my/preferred/directory’;
用戶也可以為這個數(shù)據(jù)庫增加一個描述信息，這樣通過DESCRIBE DATABASE 命令就可以查看到該信息。
hive> CREATE DATABASE financials
> COMMENT ‘Holds all financial tables’;
hive> DESCRIBE DATABASE financials;
financials Holds all financial tables
從上面的例子中，我們可以注意到，DESCRIEB DATABASE語句也會顯示出這個數(shù)據(jù)庫所在的文件目錄位置路徑。在這個例子中，URI格式是hdfs。如果安裝的是MapR，那么這里就應(yīng)該是maprfs。對于亞馬遜彈性MapReduce（EMR）集群，這里應(yīng)該是hdfs，但是用戶可以設(shè)置hive.metastore.warehouse.dir為亞馬遜S3特定的格式（例如，屬性值設(shè)置為s3
前面DESCRIBE DATABASE語句的輸出中，我們使用了master-server來代表URI權(quán)限，也就是說應(yīng)該是由文件系統(tǒng)的“主節(jié)點(diǎn)”（例如，HDFS中運(yùn)行NameNode服務(wù)的那臺服務(wù)器）的服務(wù)器名加上一個可選的端口號構(gòu)成的（例如，服務(wù)器名：端口號這樣的格式）。如果用戶執(zhí)行的是偽分布式模式，那么主節(jié)點(diǎn)服務(wù)器名稱就應(yīng)該是localhost。對于本地模式，這個路徑應(yīng)該是一個本地路徑，例如
如果這部分信息省略了，那么Hive將會使用Hadoop配置文件中的配置項fs.default.name作為master-server所對應(yīng)的服務(wù)器名和端口號，這個配置文件可以在$HADOOP_HOME/conf這個目錄下找到。
需要明確的是，
warehouse/financials.db是等價的，其中master-server是主節(jié)點(diǎn)的DNS名和可選的端口號。
為了保持完整性，當(dāng)用戶指定一個相對路徑（例如，some/relative/path）時，對于HDFS和Hive，都會將這個相對路徑放到分布式文件系統(tǒng)的指定根目錄下（例如，
為了腳本的可移植性，通常會省略掉那個服務(wù)器和端口號信息，而只有在涉及到另一個分布式文件系統(tǒng)實(shí)例（包括S3存儲）的時候才會指明該信息。
此外，用戶還可以為數(shù)據(jù)庫增加一些和其相關(guān)的鍵-值對屬性信息，盡管目前僅有的功能就是提供了一種可以通過DESCRIBE DATABASE EXTENDED 語句顯示出這些信息的方式：
hive> CREATE DATABASE financials
> WITH DBPROPERTIES (‘creator’ = ‘Mark Moneybags’, ‘date’ = ”);
hive> DESCRIBE DATABASE financials;
financials
hive> DESCRIBE DATABASE EXTENDED financials;
financials
{date=, creator=Mark Moneybags);
USE命令用于將某個數(shù)據(jù)庫設(shè)置為用戶當(dāng)前的工作數(shù)據(jù)庫，和在文件系統(tǒng)中切換工作目錄是一個概念：
hive> USE financials;
現(xiàn)在，使用像SHOW TABLES這樣的命令就會顯示當(dāng)前這個數(shù)據(jù)庫下所有的表。
不幸的是，并沒有一個命令可以讓用戶查看當(dāng)前所在的是哪個數(shù)據(jù)庫！幸運(yùn)的是，在Hive中是可以重復(fù)使用USE…命令的，這是因?yàn)樵贖ive中并沒有嵌套數(shù)據(jù)庫的概念。
可以回想下，在第2.7.2節(jié)“變量和屬性”中提到過，可以通過設(shè)置一個屬性值來在提示符里面顯示當(dāng)前所在的數(shù)據(jù)庫（Hive v0.8.0版本以及之后的版本才支持此功能）：
hive> set hive.cli.print.current.db=true;
hive (financials)> USE default;
hive (default)> set hive.cli.print.current.db=false;
hive> …
最后，用戶可以刪除數(shù)據(jù)庫：
hive> DROP DATABASE IF EXISTS financials;
IF EXISTS子句是可選的，如果加了這個子句，就可以避免因數(shù)據(jù)庫finanacials不存在而拋出警告信息。
默認(rèn)情況下，Hive是不允許用戶刪除一個包含有表的數(shù)據(jù)庫的。用戶要么先刪除數(shù)據(jù)庫中的表，然后再刪除數(shù)據(jù)庫；要么在刪除命令的最后面加上關(guān)鍵字CASCADE，這樣可以使Hive自行先刪除數(shù)據(jù)庫中的表：
hive> DROP DATABASE IF EXISTS financials CASCADE;
如果使用的是RESTRICT這個關(guān)鍵字而不是CASCADE這個關(guān)鍵字的話，那么就和默認(rèn)情況一樣，也就是，如果想刪除數(shù)據(jù)庫，那么必須先要刪除掉該數(shù)據(jù)庫中的所有表。
如果某個數(shù)據(jù)庫被刪除了，那么其對應(yīng)的目錄也同時會被刪除。
hive數(shù)據(jù)庫怎么建表和數(shù)據(jù)裝載
樓主說的是Hive，不是HBase。從Oracle里面頭導(dǎo)出數(shù)據(jù)為平面文件后，導(dǎo)入HDFS里面。Hive里面的表結(jié)構(gòu)是要自己手工定的。
建表可以自己寫個小程序?qū)崿F(xiàn)，根據(jù)oracle字典表和hive的建表規(guī)則，每個地方高桐核使用hive的情景不同，建表也不同。數(shù)據(jù)裝載戚掘可以用sqoop來實(shí)現(xiàn)。
你可以安裝下SQOOP，注輪咐意這個跟HADOOP的版本要對應(yīng)的，不然會出現(xiàn)一些問題。以下是我項目用到的例子，不過我有個更高級的方法，只需配到表就行了，就是寫個JAVA程序，然后自動生成對應(yīng)的腳本，再執(zhí)行就可以了。轉(zhuǎn)載，僅供參考。
hive遠(yuǎn)程遷移數(shù)據(jù)庫的介紹就聊到這里吧，感謝你花時間閱讀本站內(nèi)容，更多關(guān)于hive遠(yuǎn)程遷移數(shù)據(jù)庫,Hive數(shù)據(jù)庫遠(yuǎn)程遷移教程：快速搬家技巧分享,為什么使用Hive？Hive提供了什么？Hive支持哪些用戶,hive數(shù)據(jù)庫怎么建表和數(shù)據(jù)裝載的信息別忘了在本站進(jìn)行查找喔。
香港服務(wù)器選創(chuàng)新互聯(lián)，2H2G首月10元開通。
創(chuàng)新互聯(lián)（www.cdcxhl.com）互聯(lián)網(wǎng)服務(wù)提供商,擁有超過10年的服務(wù)器租用、服務(wù)器托管、云服務(wù)器、虛擬主機(jī)、網(wǎng)站系統(tǒng)開發(fā)經(jīng)驗(yàn)。專業(yè)提供云主機(jī)、虛擬主機(jī)、域名注冊、VPS主機(jī)、云服務(wù)器、香港云服務(wù)器、免備案服務(wù)器等。
文章名稱：Hive數(shù)據(jù)庫遠(yuǎn)程遷移教程：快速搬家技巧分享(hive遠(yuǎn)程遷移數(shù)據(jù)庫)
瀏覽地址：http://www.dlmjj.cn/article/ccsccih.html
