日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問(wèn)題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案
SPARK啟動(dòng)歷史任務(wù)查看-創(chuàng)新互聯(lián)

SPARK歷史任務(wù)查看需要一下配置:

網(wǎng)站制作、網(wǎng)站設(shè)計(jì)的開(kāi)發(fā)，更需要了解用戶，從用戶角度來(lái)建設(shè)網(wǎng)站，獲得較好的用戶體驗(yàn)。創(chuàng)新互聯(lián)建站多年互聯(lián)網(wǎng)經(jīng)驗(yàn)，見(jiàn)的多，溝通容易、能幫助客戶提出的運(yùn)營(yíng)建議。作為成都一家網(wǎng)絡(luò)公司，打造的就是網(wǎng)站建設(shè)產(chǎn)品直銷的概念。選擇創(chuàng)新互聯(lián)建站，不只是建站，我們把建站作為產(chǎn)品，不斷的更新、完善，讓每位來(lái)訪用戶感受到浩方產(chǎn)品的價(jià)值服務(wù)。

  1. 修改spark-defaults.conf配置文件

    1.  spark.eventLog.enabled       true

    2.  spark.eventLog.dir            hdfs://192.168.9.110:9000/eventLogs

    3.  spark.eventLog.compress      true

  2. 修改spark-env.sh配置文件

    1. export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs"

  3. 以上兩個(gè)配置中spark.eventLog.dir和SPARK_HISTORY_OPTS都用到了hdfs來(lái)存儲(chǔ)歷史任務(wù)的日志信息.所以需要提前在hdfs中新建這兩個(gè)目錄 hdfs://192.168.9.110:9000/eventLogs和hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs

    1. 進(jìn)入hadoop的bin目錄 命令 :  cd /data/server/hadoop-2.6.0/bin

    2. 新建hdfs://192.168.9.110:9000/eventLogs命令 : ./hadoop dfs -mkdir /eventLogs

    3. 新建hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs命令 : ./hadoop dfs -mkdir /sparkHistoryLogs

  4. 重啟spark集群

  5. 啟動(dòng)歷史任務(wù)進(jìn)程

    1. sbin/start-history-server.sh

  6. 歷史任務(wù)進(jìn)程啟動(dòng)驗(yàn)證

    1. 執(zhí)行jps命令,出現(xiàn)HistoryServer進(jìn)程

  7. 查看歷史任務(wù)Web UI

    1. http://192.168.9.110:18080/

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。


文章名稱：SPARK啟動(dòng)歷史任務(wù)查看-創(chuàng)新互聯(lián)
文章URL：http://www.dlmjj.cn/article/djeish.html