建站
咨詢
售后
建站咨詢
新聞中心
Pig 簡介：
創(chuàng)新互聯(lián)公司主營閻良網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,app軟件開發(fā)公司,閻良h5微信小程序開發(fā)搭建,閻良網(wǎng)站營銷推廣歡迎閻良等地區(qū)企業(yè)咨詢
Pig 是 Apache 項目的一個子項目，Pig 提供了一個支持大規(guī)模數(shù)據(jù)分析的平臺，Pig 突出的特點就是它的結(jié)構(gòu)經(jīng)得起大量并行任務(wù)的檢驗，使得它能夠處理大規(guī)模數(shù)據(jù)集
Pig 特點：
Pig 可簡化 MapReduce 任務(wù)的開發(fā)
Pig 可以看做 Hadoop 的客戶端軟件，可以連接到 Hadoop 集群進行數(shù)據(jù)分析工作
Pig 方便不熟悉 Java 的用戶，使用一種較為簡便的類似 SQL 的面向數(shù)據(jù)流的語言 PigLatin 語言進行數(shù)據(jù)處理
PigLatin 可以進行排序，過濾，求和，分組，關(guān)聯(lián)等常用操作，還可以自定義函數(shù)，這是面向數(shù)據(jù)分析處理的輕量級腳本語言
Pig 可以看做是 PigLatin 到 MapReduce 的映射器
當(dāng)Pig在MapReduce模式運行時，它將訪問一個Hadoop集群和HDFS的安裝位置。這時Pig將自動地對這個集群進行分配和回收
Pig 的數(shù)據(jù)模式： relation(關(guān)系), bag(包), tuple(元組), field(字段，列)
relation（關(guān)系）：具有相同字段(列)的 tuple 稱為關(guān)系
bag(包)：與關(guān)系型數(shù)據(jù)庫中的表類似，包含多個 tuple，
tuple(元組)：相當(dāng)于關(guān)系型數(shù)據(jù)庫中的行，與關(guān)系型數(shù)據(jù)庫不同的是，tuple 不要求每一行具有相同的結(jié)構(gòu)
field(字段，列)：與關(guān)系型數(shù)據(jù)庫中的列相似，不同的是，field 中可以嵌套表，而關(guān)系型 數(shù)據(jù)庫中的列中不可以嵌套表
Pig 的安裝和配置：
安裝： 解壓安裝包并添加環(huán)境變量即可
tar -zxvf pig-0.17.0.tar.gz -C ~/app
vim ~/.bash_profix
PIG_HOME= PIG_HOME=/app/pig-0.17.0
export PIG_HOME
PATH=$PIG_HOME/bin:$PATH
export PATH
Pig 有兩種運行模式：本地模式： 操作 Linux 文件
啟動方式： pig -x local
集群模式: 鏈接到 HDFS
PIG_CLASSPATH=/app/hadoop-2.7.3/etc/hadoop
export PIG_CLASSPATH
啟動命令： pig
Pig 操作 Linux 命令：
sh 后面跟linux 命令可以直接對 linux 中的文件進行操作
ls cd cat mkdir pwd 操作 HDFS
copyFromLocal 從linux 系統(tǒng) copy 文件到 HDFS
copyToLocal 從 HDFS copy 文件到 linux 系統(tǒng)
register define 使用 Pig 自定義函數(shù)
PigLatin 語句：
---> 需要使用 Hadoop 的 HistoryServer
mr-jobhistory-daemon.sh start historyserver
地址： http://192.168.10.100:19888/jobhistory
---> 常用的 PigLatin 語句
load 加載數(shù)據(jù)到 bag (表)
foreach 相當(dāng)于循環(huán)， 對 bag 每一條數(shù)據(jù)遍歷
filter 相當(dāng)于 where
group by 分組
join 連接
generate 提取列
union/intersect 集合運算
輸出：dump 直接打印到屏幕上
· store 輸出到 HDFS 上
舉例: 7654,MARTIN,SALESMAN,7698,1981/9/28,1250,1400,30
加載員工數(shù)據(jù)到bag(表)
emp = load '/input/table/emp.csv' using PigStorage(',')
as (empno:int, ename:chararray, job:chararray, mgr:int, hiredate:chararray, sal:int, comm:int, deptno:int );
dept = load '/scott/dept.csv' using PigStorage(',') as(deptno:int,dname:chararray,loc:chararray);
查看表結(jié)構(gòu)： describe emp;
查詢員工信息：員工號， 姓名， 薪水
SQL語句： select empno, ename, sal from emp ;
PL 語句： emp = foreach emp generate empno, ename, sal;
輸出到屏幕上： dump emp;
查詢員工信息，按照月薪排序：
SQL 語句：select * from emp order by sal ;
PL 語句：emp = order emp by sal ;
分組：求每個部門工資最高值
SQL語句： select deptno, max(sql) from emp group by deptno ;
PL 語句：需要分兩部
1. 分組
emp_group = group emp by deptno ;
2. 求每個部門最大值
max_sal = foreach emp_group generate group, MAX(emp.sal)
查詢 10 號部門的員工：
SQL 語句： select * from emp where deptno = 10 ;
PL 語句： deptno_10 = filter emp by deptno==10 ;
多表查詢：員工姓名， 部門名稱
SQL 語句： select e.ename d.dname from emp e, dept d where e.ename=d.dname;
PL 語句： 分兩部實現(xiàn)
1. 將兩個表中的兩個字段提取出來放入一張表中
newtable = join dept by deptno, emp by ename
2. 遍歷提取出來的表，將 員工表的員工姓名， 部門表的部門名稱提取出來
table = foreach newtable generate dept:: dname, emp:: ename
集合運算： 關(guān)系型數(shù)據(jù)庫 Oracle ： 參與集合運算的各個集合必須列數(shù)相同且類型一致
查詢 10 號 和 20 號部門的員工
SQL 語句： select * from emp where deptno=10
union select * from emp where deptno=20;
PL 語句：emp10 = filter emp by deptno==10;
emp20 = filter dept by deptno==20;
emp10_20 = union emp10, emp20;
使用PL實現(xiàn)WordCount：
① 加載數(shù)據(jù)
mydata = load '/data/data.txt' as (line:chararray);
② 將字符串分割成單詞
words = foreach mydata generate flatten(TOKENIZE(line)) as word;
③ 對單詞進行分組
grpd = group words by word;
④ 統(tǒng)計每組中單詞數(shù)量
cntd = foreach grpd generate group,COUNT(words);
⑤ 打印結(jié)果
dump cntd;
本文名稱：Pig安裝講解
轉(zhuǎn)載來源：http://www.dlmjj.cn/article/ijdihs.html
