建站
咨詢
售后
建站咨詢
新聞中心
這篇文章主要講解了“kubernetes中搭建spark集群的方式”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“kubernetes中搭建spark集群的方式”吧！
在成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作過程中，需要針對(duì)客戶的行業(yè)特點(diǎn)、產(chǎn)品特性、目標(biāo)受眾和市場(chǎng)情況進(jìn)行定位分析，以確定網(wǎng)站的風(fēng)格、色彩、版式、交互等方面的設(shè)計(jì)方向。創(chuàng)新互聯(lián)建站還需要根據(jù)客戶的需求進(jìn)行功能模塊的開發(fā)和設(shè)計(jì)，包括內(nèi)容管理、前臺(tái)展示、用戶權(quán)限管理、數(shù)據(jù)統(tǒng)計(jì)和安全保護(hù)等功能。
適用場(chǎng)景：linux系統(tǒng)，已經(jīng)搭建好kubernetes1.4及以上的集群，沒有配置CA等認(rèn)證,已經(jīng)搭建DNS,其它情景僅作參考。
如果還沒有搭建DNS,請(qǐng)參考kubernetes中部署DNS搭建。
相關(guān)的yaml文件已經(jīng)上傳到本人的github，需要用到的國(guó)外鏡像也一并被我替換成了阿里云鏡像，可直接下載使用
上節(jié)kubernetes中搭建spark集群 (一)說到spark mater和worker節(jié)點(diǎn)的ui都是單獨(dú)的，沒法在一個(gè)UI里實(shí)現(xiàn)查看，點(diǎn)擊worker UI里的==back to master==也是返回不了master的UI的。并且此時(shí)集群外也無法訪問我們的spark集群，這篇文章將重點(diǎn)介紹如何合并這些UI。
解決多UI合并和對(duì)外開放問題
這里以我集群中已經(jīng)啟動(dòng)的spark集群為例
如下圖所示，外部沒法正常訪問集群中的spark集群，而且每個(gè)spark節(jié)點(diǎn)都有自己的UI用戶界面,沒法實(shí)現(xiàn)一個(gè)端口訪問所有的UI
針對(duì)這一情況，這里使用一個(gè)代理來實(shí)現(xiàn)合并，通過一個(gè)Python腳本創(chuàng)建了一個(gè)輕量級(jí)的HTTP服務(wù)器，它將所有的請(qǐng)求代理給你的Spark Master和Spark Workers。所有你需要做的是創(chuàng)建一個(gè)單一的SSH通道到這個(gè)代理，代理將轉(zhuǎn)發(fā)所有的請(qǐng)求到相應(yīng)的節(jié)點(diǎn)上。
具體的實(shí)現(xiàn)過程如下：
1.創(chuàng)建代理POD
a.文件spark-ui-proxy-controller.yaml內(nèi)容
kind: ReplicationController apiVersion: v1 metadata: name: spark-ui-proxy-controller spec: replicas: 1 selector: component: spark-ui-proxy template: metadata: labels: component: spark-ui-proxy spec: containers: - name: spark-ui-proxy image: registry.cn-hangzhou.aliyuncs.com/sjq-study/spark-ui-proxy:1.0 ports: - containerPort: 80 resources: requests: cpu: 100m args: - spark-master:8080 livenessProbe: httpGet: path: / port: 80 initialDelaySeconds: 120 timeoutSeconds: 5
其中相關(guān)鏡像已替換成阿里云鏡像，可以直接下載使用。
b.創(chuàng)建RC
$ kubectl create -f spark-ui-proxy-controller.yaml
c.查看驗(yàn)證
$ kubectl get pods |grep spark-ui spark-ui-proxy-controller-gkx2v 1/1 Running 0 5h
已經(jīng)running！
d.創(chuàng)建services
文件spark-ui-proxy-service.yaml 內(nèi)容：
kind: Service apiVersion: v1 metadata: name: spark-ui-proxy spec: type: NodePort ports: - port: 80 targetPort: 80 nodePort: 8082 selector: component: spark-ui-proxy
這里我將端口映射到了主機(jī)的8082端口，這樣外部就可以通過該端口訪問spark集群的工作界面了。
創(chuàng)建
$ kubectl create -f spark-ui-proxy-service.yaml
e.查看驗(yàn)證
$ kubectl get svc |grep spark-ui spark-ui-proxy 192.168.3.15880:8082/TCP 4h
可以看出集群給services分配了一個(gè)192.168.3.158的集群IP,那么在集群內(nèi)就可以通過這個(gè)Ip+port來訪問spark集群的用戶界面了。
實(shí)際搭建驗(yàn)證
a.集群外部通過暴露的端口進(jìn)行訪問，
這里我的主機(jī)IP為192.168.122.10,,,從ui-proxy映射的端口為8082,則訪問http://192.168.122.10:8082
點(diǎn)擊master中的任意worker節(jié)點(diǎn)均可跳轉(zhuǎn)到相應(yīng)的worker節(jié)點(diǎn)的Ui,并且點(diǎn)擊worker中的==back to master==也能成功跳轉(zhuǎn)到master
b.集群內(nèi)部訪問
集群內(nèi)通過主機(jī)的Ip+映射的port也能直接訪問，或通過ui-proxy-service的IP(192.168.3.158)+port也能實(shí)現(xiàn)正常訪問，
未完待續(xù)！
感謝各位的閱讀，以上就是“kubernetes中搭建spark集群的方式”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)kubernetes中搭建spark集群的方式這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！
網(wǎng)頁(yè)名稱：kubernetes中搭建spark集群的方式
當(dāng)前網(wǎng)址：http://www.dlmjj.cn/article/ghhejc.html
