新聞中心
JOIN運(yùn)算符用于組合來自兩個或多個關(guān)系的記錄。在執(zhí)行連接操作時,我們從每個關(guān)系中聲明一個(或一組)元組作為key。 當(dāng)這些key匹配時,兩個特定的元組匹配,否則記錄將被丟棄。連接可以是以下類型:

創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比常山網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式常山網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們,業(yè)務(wù)覆蓋常山地區(qū)。費(fèi)用合理售后完善,10余年實(shí)體公司更值得信賴。
- Self-join
- Inner-join
- Outer-join ? left join, right join, and full join
本章介紹了如何在Pig Latin中使用join運(yùn)算符的示例。假設(shè)在HDFS的 /pig_data/目錄中有兩個文件,即 customers.txt和 orders.txt,如下所示。
customers.txt
1,Ramesh,32,Ahmedabad,2000.00 2,Khilan,25,Delhi,1500.00 3,kaushik,23,Kota,2000.00 4,Chaitali,25,Mumbai,6500.00 5,Hardik,27,Bhopal,8500.00 6,Komal,22,MP,4500.00 7,Muffy,24,Indore,10000.00
orders.txt
102,2009-10-08 00:00:00,3,3000 100,2009-10-08 00:00:00,3,1500 101,2009-11-20 00:00:00,2,1560 103,2008-05-20 00:00:00,4,2060
我們將這兩個文件與 customers 和 orders關(guān)系一起加載到Pig中,如下所示。
grunt> customers = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
as (id:int, name:chararray, age:int, address:chararray, salary:int);
grunt> orders = LOAD 'hdfs://localhost:9000/pig_data/orders.txt' USING PigStorage(',')
as (oid:int, date:chararray, customer_id:int, amount:int);
現(xiàn)在讓我們對這兩個關(guān)系執(zhí)行各種連接操作。
Self-join(自連接)
Self-join 用于將表與其自身連接,就像表是兩個關(guān)系一樣,臨時重命名至少一個關(guān)系。通常,在Apache Pig中,為了執(zhí)行self-join,我們將在不同的別名(名稱)下多次加載相同的數(shù)據(jù)。那么,將文件 customers.txt的內(nèi)容加載為兩個表,如下所示。
grunt> customers1 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
as (id:int, name:chararray, age:int, address:chararray, salary:int);
grunt> customers2 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
as (id:int, name:chararray, age:int, address:chararray, salary:int);
語法
下面給出使用 JOIN運(yùn)算符執(zhí)行self-join操作的語法。
grunt> Relation3_name = JOIN Relation1_name BY key, Relation2_name BY key ;
例
通過如圖所示加入兩個關(guān)系 customers1和 customers2,對關(guān)系 customers執(zhí)行self-join 操作。
grunt> customers3 = JOIN customers1 BY id, customers2 BY id;
驗證
使用 DUMP運(yùn)算符驗證關(guān)系 customers3,如下所示。
grunt> Dump customers3;
輸出
將產(chǎn)生以下輸出,顯示關(guān)系 customers的內(nèi)容。
(1,Ramesh,32,Ahmedabad,2000,1,Ramesh,32,Ahmedabad,2000) (2,Khilan,25,Delhi,1500,2,Khilan,25,Delhi,1500) (3,kaushik,23,Kota,2000,3,kaushik,23,Kota,2000) (4,Chaitali,25,Mumbai,6500,4,Chaitali,25,Mumbai,6500) (5,Hardik,27,Bhopal,8500,5,Hardik,27,Bhopal,8500) (6,Komal,22,MP,4500,6,Komal,22,MP,4500) (7,Muffy,24,Indore,10000,7,Muffy,24,Indore,10000)
Inner Join(內(nèi)部連接)
Inner Join使用較為頻繁;它也被稱為等值連接。當(dāng)兩個表中都存在匹配時,內(nèi)部連接將返回行。基于連接謂詞(join-predicate),通過組合兩個關(guān)系(例如A和B)的列值來創(chuàng)建新關(guān)系。查詢將A的每一行與B的每一行進(jìn)行比較,以查找滿足連接謂詞的所有行對。當(dāng)連接謂詞被滿足時,A和B的每個匹配的行對的列值被組合成結(jié)果行。
語法
以下是使用 JOIN運(yùn)算符執(zhí)行inner join操作的語法。
grunt> result = JOIN relation1 BY columnname, relation2 BY columnname;
例
讓我們對customers和orders執(zhí)行inner join操作,如下所示。
grunt> coustomer_orders = JOIN customers BY id, orders BY customer_id;
驗證
使用 DUMP運(yùn)算符驗證 coustomer_orders關(guān)系,如下所示。
grunt> Dump coustomer_orders;
輸出
將獲得以下輸出,是名為 coustomer_orders的關(guān)系的內(nèi)容。
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560) (3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500) (3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000) (4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
注意:
Outer Join:與inner join不同,outer join返回至少一個關(guān)系中的所有行。outer join操作以三種方式執(zhí)行:
- Left outer join
- Right outer join
- Full outer join
Left Outer Join(左外連接)
left outer join操作返回左表中的所有行,即使右邊的關(guān)系中沒有匹配項。
語法
下面給出使用 JOIN運(yùn)算符執(zhí)行left outer join操作的語法。
grunt> Relation3_name = JOIN Relation1_name BY id LEFT OUTER, Relation2_name BY customer_id;
例
讓我們對customers和orders的兩個關(guān)系執(zhí)行l(wèi)eft outer join操作,如下所示。
grunt> outer_left = JOIN customers BY id LEFT OUTER, orders BY customer_id;
驗證
使用 DUMP運(yùn)算符驗證關(guān)系 outer_left,如下所示。
grunt> Dump outer_left;
輸出
它將產(chǎn)生以下輸出,顯示關(guān)系 outer_left的內(nèi)容。
(1,Ramesh,32,Ahmedabad,2000,,,,) (2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560) (3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500) (3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000) (4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060) (5,Hardik,27,Bhopal,8500,,,,) (6,Komal,22,MP,4500,,,,) (7,Muffy,24,Indore,10000,,,,)
Right Outer Join(右外連接)
right outer join操作將返回右表中的所有行,即使左表中沒有匹配項。
語法
下面給出使用 JOIN運(yùn)算符執(zhí)行right outer join操作的語法。
grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;
例
讓我們對customers和orders執(zhí)行right outer join操作,如下所示。
grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;
驗證
使用 DUMP運(yùn)算符驗證關(guān)系 outer_right,如下所示。
grunt> Dump outer_right
輸出
它將產(chǎn)生以下輸出,顯示關(guān)系 outer_right的內(nèi)容。
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560) (3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500) (3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000) (4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
Full Outer Join(全外連接)
當(dāng)一個關(guān)系中存在匹配時,full outer join操作將返回行。
語法
下面給出使用 JOIN運(yùn)算符執(zhí)行full outer join的語法。
grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;
例
讓我們對customers和orders執(zhí)行full outer join操作,如下所示。
grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;
驗證
使用 DUMP運(yùn)算符驗證關(guān)系 outer_full,如下所示。
grun> Dump outer_full;
輸出
它將產(chǎn)生以下輸出,顯示關(guān)系 outer_full的內(nèi)容。
(1,Ramesh,32,Ahmedabad,2000,,,,) (2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560) (3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500) (3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000) (4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060) (5,Hardik,27,Bhopal,8500,,,,) (6,Komal,22,MP,4500,,,,) (7,Muffy,24,Indore,10000,,,,)
使用多個Key
我們可以使用多個key執(zhí)行JOIN操作。
語法
下面是如何使用多個key對兩個表執(zhí)行JOIN操作。
grunt> Relation3_name = JOIN Relation2_name BY (key1, key2), Relation3_name BY (key1, key2);
假設(shè)在HDFS的 /pig_data/目錄中有兩個文件,即 employee.txt和 employee_contact.txt,如下所示。
employee.txt
001,Rajiv,Reddy,21,programmer,003 002,siddarth,Battacharya,22,programmer,003 003,Rajesh,Khanna,22,programmer,003 004,Preethi,Agarwal,21,programmer,003 005,Trupthi,Mohanthy,23,programmer,003 006,Archana,Mishra,23,programmer,003 007,Komal,Nayak,24,teamlead,002 008,Bharathi,Nambiayar,24,manager,001
employee_contact.txt
001,9848022337,Rajiv@gmail.com,Hyderabad,003 002,9848022338,siddarth@gmail.com,Kolkata,003 003,9848022339,Rajesh@gmail.com,Delhi,003 004,9848022330,Preethi@gmail.com,Pune,003 005,9848022336,Trupthi@gmail.com,Bhuwaneshwar,003 006,9848022335,Archana@gmail.com,Chennai,003 007,9848022334,Komal@gmail.com,trivendram,002 008,9848022333,Bharathi@gmail.com,Chennai,001
將這兩個文件加載到Pig中,通過關(guān)系 employee和 employee_contact,如下所示。
grunt> employee = LOAD 'hdfs://localhost:9000/pig_data/employee.txt' USING PigStorage(',')
as (id:int, firstname:chararray, lastname:chararray, age:int, designation:chararray, jobid:int);
grunt> employee_contact = LOAD 'hdfs://localhost:9000/pig_data/employee_contact.txt' USING PigStorage(',')
as (id:int, phone:chararray, email:chararray, city:chararray, jobid:int);
現(xiàn)在,讓我們使用 JOIN運(yùn)算符連接這兩個關(guān)系的內(nèi)容,如下所示。
grunt> emp = JOIN employee BY (id,jobid), employee_contact BY (id,jobid);
驗證
使用 DUMP運(yùn)算符驗證關(guān)系 emp,如下所示。
grunt> Dump emp;
輸出
它將產(chǎn)生以下輸出,顯示名為 emp的關(guān)系的內(nèi)容,如下所示。
(1,Rajiv,Reddy,21,programmer,113,1,9848022337,Rajiv@gmail.com,Hyderabad,113) (2,siddarth,Battacharya,22,programmer,113,2,9848022338,siddarth@gmail.com,Kolka ta,113) (3,Rajesh,Khanna,22,programmer,113,3,9848022339,Rajesh@gmail.com,Delhi,113) (4,Preethi,Agarwal,21,programmer,113,4,9848022330,Preethi@gmail.com,Pune,113) (5,Trupthi,Mohanthy,23,programmer,113,5,9848022336,Trupthi@gmail.com,Bhuwaneshw ar,113) (6,Archana,Mishra,23,programmer,113,6,9848022335,Archana@gmail.com,Chennai,113) (7,Komal,Nayak,24,teamlead,112,7,9848022334,Komal@gmail.com,trivendram,112) (8,Bharathi,Nambiayar,24,manager,111,8,9848022333,Bharathi@gmail.com,Chennai,111)
當(dāng)前文章:創(chuàng)新互聯(lián)ApachePig教程:ApachePigJoin運(yùn)算符
文章分享:http://www.dlmjj.cn/article/dpescge.html


咨詢
建站咨詢
