日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

這篇文章主要介紹了spark with hive的用法示例，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

成都創(chuàng)新互聯(lián)是一家專業(yè)提供襄汾企業(yè)網(wǎng)站建設(shè),專注與網(wǎng)站設(shè)計制作、成都網(wǎng)站設(shè)計、H5技術(shù)、小程序制作等業(yè)務(wù)。10年已為襄汾眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站設(shè)計公司優(yōu)惠進(jìn)行中。

//需要spark-hive project
package hgs.spark.hive
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.hadoop.hive.conf.HiveConfUtil
import org.apache.spark.sql.SparkSession
//注:需要將hive-site.xml放到當(dāng)前工程的classpath下面
object SparkWithHive {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("hive").setMaster("local")
    val context = new SparkContext(conf)
    
    val builder = SparkSession.builder()
           .appName("hiveApp")
           .config("spark.sql.warehouse.dir","hdfs://bigdata00:9000/user/hive/warehouse/")
           .enableHiveSupport()
           .getOrCreate()
    import builder.implicits
    //test庫下面的test表 ssql.show()可以打印表的信息
    val ssql =  builder.sql("select a.id,b.name,b.age+10 bigage from test.test a,test.test1 b where a.id = b.id")
    //這里轉(zhuǎn)換為rdd進(jìn)行操作，轉(zhuǎn)換為三元的tuple,  List((1,hgs,26), (2,wd,24), (3,zz,25), (4,cm,24))
    val list = ssql.rdd.map(x=>(x(0),x(1),x(2))).collect()
    println(list.toList)
    context.stop()
  }
}

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“spark with hive的用法示例”這篇文章對大家有幫助，同時也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!

分享文章：sparkwithhive的用法示例-創(chuàng)新互聯(lián)
URL網(wǎng)址：http://www.dlmjj.cn/article/doggep.html