日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

RELATEED CONSULTING
相關(guān)咨詢(xún)
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問(wèn)題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷(xiāo)解決方案
Hive從概念到安裝使用總結(jié)

一、Hive的基本概念

成都創(chuàng)新互聯(lián)公司主營(yíng)玉州網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,重慶APP軟件開(kāi)發(fā),玉州h5微信小程序搭建,玉州網(wǎng)站營(yíng)銷(xiāo)推廣歡迎玉州等地區(qū)企業(yè)咨詢(xún)

1.1 hive是什么？

（1）Hive是建立在hadoop數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)之上的一個(gè)基礎(chǔ)架構(gòu)；

（2）相當(dāng)于hadoop之上的一個(gè)客戶(hù)端，可以用來(lái)存儲(chǔ)、查詢(xún)和分析存儲(chǔ)在hadoop中的數(shù)據(jù)；

（3）是一種SQL解析引擎，能夠?qū)QL轉(zhuǎn)換成Map/Reduce中的Job在hadoop上執(zhí)行。

1.2 hive的數(shù)據(jù)存儲(chǔ)特點(diǎn)

（1）數(shù)據(jù)存儲(chǔ)是基于hadoop的HDFS；

（2）沒(méi)有專(zhuān)門(mén)的數(shù)據(jù)存儲(chǔ)格式；

（3）存儲(chǔ)結(jié)構(gòu)主要有：數(shù)據(jù)庫(kù)、文件（默認(rèn)可以直接加載文本文件）、表、視圖、索引；

說(shuō)明：hive中的表實(shí)質(zhì)就是HDFS的目錄，按表名將文件夾分開(kāi)，若是分區(qū)表，則分區(qū)值是子文件夾。這些數(shù)據(jù)可以直接在M/R中使用。hive中的數(shù)據(jù)是存放在HDFS中的。

二、hive的系統(tǒng)結(jié)構(gòu)

存儲(chǔ)hive的元數(shù)據(jù)（表及表的屬性、數(shù)據(jù)庫(kù)名字等）

分析執(zhí)行hive QL語(yǔ)句，將執(zhí)行計(jì)劃投遞給hadoop，轉(zhuǎn)到map/reduce執(zhí)行

2.1 hive的系統(tǒng)結(jié)構(gòu)– metastore存儲(chǔ)方式

默認(rèn)情況，元數(shù)據(jù)使用內(nèi)嵌的derby數(shù)據(jù)庫(kù)作為存儲(chǔ)引擎

將存儲(chǔ)數(shù)據(jù)獨(dú)立出來(lái)，支持多用戶(hù)同時(shí)訪問(wèn)

將metastore獨(dú)立出來(lái)，遠(yuǎn)程方法調(diào)用

三、hive的安裝與使用

3.1下載hive源文件，解壓hive文件

進(jìn)入$HIVE_HOME/conf/修改文件

 
 
    
  
  
  1. cp  hive-default.xml.template  hive-site.xml
    2. 
  
  
  2. cp  hive-env.sh.template hive-env.sh
    3.

修改$HIVE_HOME/bin的hive-env.sh，增加以下三行

 
 
    
  
  
  1. HADOOP_HOME=    --hadoop的home目錄
    2. 
  
  
  2. export HIVE_CONF_DIR=   --hive的conf目錄
    3. 
  
  
  3. export HIVE_AUX_JARS_PATH=   --hive的lib目錄
    4.

生效文件：

 
 
    
  
  
  1. source /hive-env.sh(生效文件)
    2.

3.2 配置MySQL的metastore

修改$HIVE_HOME/conf/hive-site.xml

 
 
    
  
  
    2. 
  
  
  2. 
  
  
  3. javax.jdo.option.ConnectionURL
    4. 
  
  
  4. 
  
  
  5. jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
    6. 
  
  
  6. 
  
  
  7. 
  
  
  8. 
  
  
    10. 
  
  
  10. 
  
  
  11. javax.jdo.option.ConnectionDriverName
    12. 
  
  
  12. 
  
  
  13. com.mysql.jdbc.Driver
    14. 
  
  
  14. 
  
  
  15. 
  
  
  16. 
  
  
    18. 
  
  
  18. 
  
  
  19. javax.jdo.option.ConnectionUserName
    20. 
  
  
  20. 
  
  
  21. root
    22. 
  
  
  22. 
  
  
  23. 
  
  
  24. 
  
  
    26. 
  
  
  26. 
  
  
  27. javax.jdo.option.ConnectionPassword
    28. 
  
  
  28. 
  
  
  29. 123456
    30. 
  
  
  30. 
  
  
  31.

3.3hive臨時(shí)目錄的配置

修改$HIVE_HOME/conf/hive-site.xml

(1)設(shè)定數(shù)據(jù)目錄

 
 
    
  
  
    2. 
  
  
  2. 
  
  
  3. hive.metastore.warehouse.dir
    4. 
  
  
  4. 
  
  
  5. /usr/local/hive/warehouse
    6. 
  
  
  6. 
  
  
  7.

(2)設(shè)定臨時(shí)文件目錄

 
 
    
  
  
    2. 
  
  
  2. 
  
  
  3. hive.exec.scratdir
    4. 
  
  
  4. 
  
  
  5. /usr/local/hive/tmp
    6. 
  
  
  6. 
  
  
  7.

(3)hive相關(guān)日志的目錄

 
 
    
  
  
    2. 
  
  
  2. 
  
  
  3. hive.querylog.location
    4. 
  
  
  4. 
  
  
  5. /usr/local/hive/log
    6. 
  
  
  6. 
  
  
  7.

3.4hive的運(yùn)行模式的指定

Hive的運(yùn)行模式即任務(wù)的執(zhí)行環(huán)境，分為本地與集群兩種，我們可以通過(guò)mapred.job.tracker 來(lái)指明

本地模式設(shè)置方式：

 
 
    
  
  
  1. hive > set mapred.job.tracker=local;
    2. 
  
  
  2. hive > set hive.exec.mode.local.auto=true;
    3. 
  
  
  3. hive.exec.mode.local.auto.inputbytes.max默認(rèn)128M
    4.

3.5 sqoop的安裝

(1)下載、解壓：

 
 
    
  
  
  1. tar -zxvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz /root
    2. 
  
  
  2. cd /root
    3. 
  
  
  3. ln -s sqoop-1.4.3.bin sqoop
    4.

(2)配置sqoop：

 
 
    
  
  
  1. vi ~/.bash_profile
    2. 
  
  
  2. export SQOOP_HOME=/usr/local/sqoop
    3. 
  
  
  3. export PATH=$SQOOP_HOME/bin:$PATH
    4.

(3)測(cè)試連接數(shù)據(jù)庫(kù)并列出數(shù)據(jù)庫(kù)：

 
 
    
  
  
  1. sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456
    2.

(4)將mysql中的表導(dǎo)入到hive中：

 
 
    
  
  
  1. sqoop import --connect jdbc:mysql://localhost:3306/gwifi --username root --password 123456 --table think_access --hive-import -m 1;
    2.

3.6 hive的命令行方式

1、輸入#/hive/bin/hive執(zhí)行應(yīng)用程序， 或者

 
 
    
  
  
  1. #hive
    2. 
  
  
  2. hive> create table test(id int, name string);
    3. 
  
  
  3. hive> show tables;
    4. 
  
  
  4. hive>quit;
    5.

查看并修改表與目錄之間的關(guān)系

 
 
    
  
  
  1. #hadoop fs -ls /user/hive/warehouse/
    2.

修改參數(shù)：hive.metastore.warehouse.dir 表與目錄的對(duì)應(yīng)關(guān)系

3.6 命令行方式

顯示或修改參數(shù)值

在代碼中可以使用${…}來(lái)使用

命名空間

使用權(quán)限

描述

hivevar

可讀寫(xiě)

$ hive -d name=zhangsan;

hiveconf

可讀寫(xiě)

$ hive –hiveconf hive.cli.print.current.db=true;$ hive –hiveconf hive.cli.print.header=true;

system

可讀寫(xiě)

java定義的配置屬性，如system:user.name

env

只讀

shell環(huán)境變量，如env:USER

3.7 hive的腳本運(yùn)行

$>hive -i /home/my/hive-init.sql
$hive>source file

與linux交互命令 ！

!ls
!pwd

與hdfs交互命令

dfs -ls /
dfs -mkdir /hive

3.8 hive的jdbc模式

JAVA API交互執(zhí)行方式

hive 遠(yuǎn)程服務(wù) (端口號(hào)10000) 啟動(dòng)方式

3.9 hive常用的命令– set命令

hive控制臺(tái)set命令:

set hive.cli.print.current.db=true;
set hive.metastore.warehouse.dir=/hive

hive參數(shù)初始化配置set命令:

~/.hiverc

四、HiveQL數(shù)據(jù)操作

4.1數(shù)據(jù)類(lèi)型

1、基本數(shù)據(jù)類(lèi)型：與mysql等數(shù)據(jù)庫(kù)中基本數(shù)據(jù)類(lèi)型類(lèi)似；

2、復(fù)合數(shù)據(jù)類(lèi)型：

（1）array 數(shù)組類(lèi)型 如：array[int] 下標(biāo)訪問(wèn)

（2）struct結(jié)構(gòu)類(lèi)型 如： struct{name:STRING,age:INT} .訪問(wèn)

（3）Map結(jié)構(gòu)

4.2 數(shù)據(jù)庫(kù)/表的定義、操作

默認(rèn)使用的是“default”數(shù)據(jù)庫(kù)，使用命令選擇數(shù)據(jù)庫(kù)：

hive> use <數(shù)據(jù)庫(kù)名>

創(chuàng)建數(shù)據(jù)庫(kù)： create database <數(shù)據(jù)庫(kù)名>

查看所有數(shù)據(jù)庫(kù)： show databases;

查看/刪除數(shù)據(jù)庫(kù)：desc/drop database <數(shù)據(jù)庫(kù)名>;

注：Hive沒(méi)有 行級(jí)別的插入，更新和刪除操作，往表中插入數(shù)據(jù)的唯一方法就是使用成批載入操作

hive>create table 表名(字段名 字段類(lèi)型,……)

hive>show tables;

hive>create table t2 like t1;

hive> drop table 表名    —?jiǎng)h除表

增加列

hive>ALTER TABLE t3 ADD COLUMNS(gender int);

在mysql中hive數(shù)據(jù)庫(kù)中show tables； 在TBLS表中可以查看到hie創(chuàng)建的表。

4.3 數(shù)據(jù)庫(kù)/表的定義、操作

插入數(shù)據(jù)：insert overwrite table t_table1 select * from t_table1 where XXXX;

刪除數(shù)據(jù)：insert overwrite table test select * from test where 1=0;

數(shù)組類(lèi)型的表的操作：

定義復(fù)合數(shù)據(jù)類(lèi)型的 表：create table demo_array(id int, mydata array[string])  PARTITIONED BY (dt STRING)  row format delimited fields terminated by ’\t’ collection items terminated by ’|';

–id 與mydata之間是’\t’隔開(kāi)，其后的mydata數(shù)據(jù)之間用’|'隔開(kāi)

4.3.1 Hive的數(shù)據(jù)模型-管理表

管理表，也稱(chēng)作內(nèi)部表或受控表

特點(diǎn)：（1）數(shù)據(jù)全部保存在warehouse目錄中；

（2）刪除表時(shí)元數(shù)據(jù)和表中的數(shù)據(jù)都會(huì)被刪除；

（3）創(chuàng)建表和數(shù)據(jù)加載可以在同一條語(yǔ)句中實(shí)現(xiàn)；

（4）每個(gè)表在HDFS中都有相應(yīng)的目錄用來(lái)存儲(chǔ)表的數(shù)據(jù)

（5）加載數(shù)據(jù)的過(guò)程，實(shí)際數(shù)據(jù)會(huì)被移動(dòng)到數(shù)據(jù)倉(cāng)庫(kù)目錄中；對(duì)數(shù)據(jù)的訪問(wèn)是在數(shù)據(jù)倉(cāng)庫(kù)目錄中完成。

4.3.1 Hive的數(shù)據(jù)模型-管理表

創(chuàng)建數(shù)據(jù)文件inner_table.dat

創(chuàng)建表

 
 
    
  
  
  1. hive>create table inner_table (key string)
    2. 
  
  
  2. row format delimited fields terminated by '\t';
    3. 
  
  
  3. //這個(gè)要指定，否則load的時(shí)候數(shù)據(jù)為NULL;
    4.

加載數(shù)據(jù)

hive>load data local inpath '/root/inner_table.dat' into table inner_table;

查看數(shù)據(jù)

select * from inner_table

select count(*) from inner_table

刪除表 drop table inner_table

4.3.2 Hive的數(shù)據(jù)模型-外部表

包含externable的表叫做外部表

特點(diǎn)：（1）刪除外部表只刪除metastore的元數(shù)據(jù)，不刪除hdfs中的表數(shù)據(jù)；

（2）加載數(shù)據(jù)和創(chuàng)建表是同時(shí)完成的，并不會(huì)移動(dòng)到數(shù)據(jù)，只是與外部數(shù)據(jù)建立一個(gè)鏈接；刪除一個(gè)外部表，只是刪除了該鏈接

（3）指向已經(jīng)在 HDFS 中存在的數(shù)據(jù)

4.3.2 Hive的數(shù)據(jù)模型-外部表語(yǔ)法

 
 
    
  
  
  1. CREATE EXTERNAL TABLE page_view
    2. 
  
  
  2. 
  
  
  3. ( viewTime INT,
    4. 
  
  
  4. 
  
  
  5. userid BIGINT,
    6. 
  
  
  6. 
  
  
  7. page_url STRING,
    8. 
  
  
  8. 
  
  
  9. referrer_url STRING,
    10. 
  
  
  10. 
  
  
  11. ip STRING COMMENT 'IP Address of the User',
    12. 
  
  
  12. 
  
  
  13. country STRING COMMENT 'country of origination‘
    14. 
  
  
  14. 
  
  
  15. )
    16. 
  
  
  16. 
  
  
  17. COMMENT 'This is the staging page view table'
    18. 
  
  
  18. 
  
  
  19. ROW FORMAT DELIMITED FIELDS TERMINATED BY '44'  LINES  TERMINATED BY '12'
    20. 
  
  
  20. 
  
  
  21. STORED AS TEXTFILE
    22. 
  
  
  22. 
  
  
  23. LOCATION 'hdfs://centos:9000/user/data/staging/page_view';
    24.

4.3.3 Hive的數(shù)據(jù)模型-分區(qū)表

分區(qū)可以理解為分類(lèi)，通過(guò)分類(lèi)把不同類(lèi)型的數(shù)據(jù)放到不同的目錄下；

分類(lèi)的標(biāo)準(zhǔn)就是分區(qū)字段，可以一個(gè)，也可以多個(gè)；

分區(qū)表的意義在于優(yōu)化查詢(xún)，查詢(xún)時(shí)盡量利用分區(qū)字段；如果不使用分區(qū)字段，就會(huì)全部掃描。

創(chuàng)建數(shù)據(jù)文件partition_table.dat

創(chuàng)建表

create table partition_table(rectime string,msisdn string) partitioned by(daytime string,city string) row format delimited fields terminated by '\t' stored as TEXTFILE;

加載數(shù)據(jù)到分區(qū)

load data local inpath '/home/partition_table.dat' into table partition_table partition (daytime='2013-02-01',city='bj');

查看數(shù)據(jù)

 
 
    
  
  
  1. select * from partition_table
    2. 
  
  
  2. 
  
  
  3. select count(*) from partition_table
    4. 
  
  
  4. 
  
  
  5. 刪除表 drop table partition_table
    6.

4.3.4 Hive的數(shù)據(jù)模型-分區(qū)表

CREATE TABLE tmp_table #表名

 
 
    
  
  
  1. (
    2. 
  
  
  2. 
  
  
  3. title   string, # 字段名稱(chēng) 字段類(lèi)型
    4. 
  
  
  4. 
  
  
  5. minimum_bid     double,
    6. 
  
  
  6. 
  
  
  7. quantity        bigint,
    8. 
  
  
  8. 
  
  
  9. have_invoice    bigint
    10. 
  
  
  10. 
  
  
  11. )COMMENT '注釋?zhuān)篨XX' #表注釋
    12. 
  
  
  12. 
  
  
  13. PARTITIONED BY(pt STRING) #分區(qū)表字段（如果你文件非常之大的話(huà)，采用分區(qū)表可以快過(guò)濾出按分區(qū)字段劃分的數(shù)據(jù)）
    14. 
  
  
  14. 
  
  
  15. ROW FORMAT DELIMITED
    16. 
  
  
  16. 
  
  
  17. FIELDS TERMINATED BY '\001'   # 字段是用什么分割開(kāi)的
    18. 
  
  
  18. 
  
  
  19. STORED AS SEQUENCEFILE; #用哪種方式存儲(chǔ)數(shù)據(jù)，SEQUENCEFILE是hadoop自帶的文件壓縮格式
    20.

4.4.1 裝載數(shù)據(jù)

從文件中裝載數(shù)據(jù)

hive>LOAD DATA [LOCAL] INPATH '...' [OVERWRITE] INTO TABLE t2 [PARTITION (province='beijing')];

通過(guò)查詢(xún)表重新裝載數(shù)據(jù)

hive>INSERT OVERWRITE TABLE t2 PARTITION (province='beijing') SELECT * FROM xxx WHERE xx

設(shè)置job并行數(shù)量 hive.exec.parallel =true；

hive.exec.parallel. thread.number =3；

4.4.2 動(dòng)態(tài)分區(qū)裝載數(shù)據(jù)

開(kāi)啟動(dòng)態(tài)分區(qū)支持

 
 
    
  
  
  1. hive>set hive.exec.dynamic.partition=true;
    2. 
  
  
  2. 
  
  
  3. hive>set hive.exec.dynamic.partition.mode=nostrict;
    4. 
  
  
  4. 
  
  
  5. hive>set hive.exec.max.dynamic.partitions.pernode=1000;
    6.

#查詢(xún)字段一樣

 
 
    
  
  
  1. hive>INSERT OVERWRITE TABLE t3 PARTITION(province, city)
    2. 
  
  
  2. 
  
  
  3. SELECT t.province, t.city FROM temp t;
    4. 
  
  
  4. 
  
  
  5. hive>INSERT OVERWRITE TABLE t3 PARTITION(province='bj', city)
    6. 
  
  
  6. 
  
  
  7. SELECT t.province, t.city FROM temp t WHERE t.province='bj';
    8.

單語(yǔ)句建表并同時(shí)裝載數(shù)據(jù)

hive>CREATE TABLE t4 AS SELECT ....

select count(0) from (select id from test where name like 'zh%') a join (select id from test where name like '%i%') b on a.id = b.id;

五、hive的存儲(chǔ)形式比較

hive在建表時(shí)，可以通過(guò)‘STORED AS FILE_FORMAT’ 指定存儲(chǔ)文件格式。有以下幾種：

1.TextFile：存儲(chǔ)空間較大，壓縮之后的文件不能分割與合并，查詢(xún)效率低；可直接存儲(chǔ)，加載速度最快；

2.sequencefile：hadoop API提供的一種二進(jìn)制文件支持，存儲(chǔ)空間最大，可分割與合并，查詢(xún)效率高，需要text文件轉(zhuǎn)換來(lái)加載

3.RcFile:是一種行列存儲(chǔ)相結(jié)合的存儲(chǔ)方式。（1）將數(shù)據(jù)按行分塊，保證同一個(gè)record在一個(gè)塊上，避免讀一個(gè)記錄需要讀取多個(gè)block；（2）塊數(shù)據(jù)列式存儲(chǔ)，有利于數(shù)據(jù)壓縮和快速的列存取。查詢(xún)效率最高、存儲(chǔ)空間最小、但加載最慢

總結(jié)

 


網(wǎng)站題目：Hive從概念到安裝使用總結(jié)
分享路徑：http://www.dlmjj.cn/article/dhhjdcd.html