建站
咨詢
售后
建站咨詢
新聞中心
因?yàn)闃I(yè)務(wù)需要(項(xiàng)目技術(shù)棧為 spark 2+ )，七八月份興沖沖從學(xué)校圖書館借了書，學(xué)了 scala + spark ，還寫了不少博文，其中有幾篇被拿來發(fā)推送：Scala，一門「特立獨(dú)行」的語言!、【疑惑】如何從 Spark 的 DataFrame 中取出具體某一行? ...
創(chuàng)新互聯(lián)公司堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：做網(wǎng)站、網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的米脂網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！
但實(shí)際操作起來，還是遇到不少問題。
收獲經(jīng)驗(yàn)有二：
- 看書(尤其國(guó)內(nèi)教材)理解理解概念還行，但是對(duì)于實(shí)際操作沒啥大用
- 接觸一門新的編程語言，首先應(yīng)該閱讀大量?jī)?yōu)秀的案例代碼，還有理解清楚數(shù)據(jù)類型
舉個(gè)例子，我昨天上午一直被這個(gè)糾纏著：請(qǐng)你給 spark 中 dataframe 的某一列數(shù) 取為。
按理說不難吧。要是 python 的 pandas 就直接上了：
- # pandas
- df['sig_x'] = df['x'].apply(lambda x: 1 / (1 - np.exp(-x)))
但是 spark 不行。
spark 中，新建一列使用的函數(shù)是 withColumn ，首先傳入函數(shù)名，接下來傳入一個(gè) col 對(duì)象。
這個(gè) col 對(duì)象就有講究了，雖然我今天看來還是比較直觀好理解的，但是昨天可就在里面周旋了好一陣子。
首先，如果我想使用列 x ，我不可以直接 "x" ，因?yàn)檫@是一個(gè)字符串，我需要調(diào)用隱式轉(zhuǎn)換的函數(shù) $ ，而這個(gè) $ 實(shí)際上在 spark.implicits._ 中。
值得注意的是， spark 是你的 SparkSession 實(shí)例。
上述內(nèi)容不清楚，則需要花一陣子找資料。
- import spark.implicits._
- val df_new = df.withColumn("x_new", $"x")
上述代碼構(gòu)造了一個(gè)新 df_new 對(duì)象，其中有 x_new 列與 x 列，兩列數(shù)值完全一致。
其次，我的運(yùn)算函數(shù)在哪里找呢?
答案是 org.apache.spark.sql.functions ，因?yàn)槭?col 對(duì)象，其可能沒有重載與常數(shù)數(shù)據(jù)類型的 + - * / 運(yùn)算符，因此，如果我們 1 - $"x" 可能會(huì)報(bào)錯(cuò)：因?yàn)?#"x" 是 col ，而 1 只是一個(gè) Int 。
我們要做的就是把 1 變成一個(gè) col ：苦苦查閱資料后，我找到了 lit 方法，也是在 org.apache.spark.sql.functions 中。最終的方案如下。
- import spark.implicits._
- import org.apache.spark.sql.functions.{fit, exp, negate}
- val df_result = df_raw_result
- .withColumn("x_sig",
- lit(1.0) / (lit(1.0) + exp(negate($"x")))
- )
其實(shí)，實(shí)際的代碼比上面的還要復(fù)雜，因?yàn)?"x" 列里面其實(shí)是一個(gè) vector 對(duì)象，我直接 $"x"(0) 無法取出 $"x" 列中的向量的第一個(gè)元素，最后查到用 udf 可以實(shí)現(xiàn)列的函數(shù)。
- import spark.implicits._
- import org.apache.spark.sql.functions.{fit, exp, negate, udf}
- // 取向量中的第一個(gè)元素
- val getItem = udf((v: org.apache.spark.ml.linalg.DenseVector, i: Int) => v(i))
- val df_result = df_raw_result
- .withColumn("x_sig",
- lit(1.0) / (lit(1.0) + exp(negate(getItem($"x", lit(0)))))
- )
python 和 scala ?
看起來，似乎 python 下的操作更加簡(jiǎn)潔優(yōu)雅，但我更喜歡用 scala 書寫這種級(jí)別的項(xiàng)目。
原因很簡(jiǎn)單， scala 對(duì)于類型的嚴(yán)格要求已經(jīng)其從函數(shù)式編程那里借鑒來的思想，讓代碼寫得太爽了。大部分問題，編譯期就能發(fā)現(xiàn)，而且配合上 IDEA 的自動(dòng)補(bǔ)全，真的很舒服。
目前為止，還沒有弄懂 udf 代表著什么，基礎(chǔ)語法與框架思想這里還是有待查缺補(bǔ)漏。
分享文章：學(xué)習(xí)這門語言兩個(gè)月了，還是卡在了加減乘除這里...
當(dāng)前網(wǎng)址：http://www.dlmjj.cn/article/djhpioc.html
