建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷(xiāo)解決方案
怎么看出spark是單機(jī)模式還是集群模式？（sparkwindows集群）
怎么看出spark是單機(jī)模式還是集群模式？
如果你的答案是否，好吧，你可以關(guān)閉此頁(yè)了。
首先，有一個(gè)新人經(jīng)常遇到的問(wèn)題：
Spark集群是否一定需要Hadoop集群呢？
答案是否。 Spark的集群一共分3種：
Standalone
Hadoop-Yarn
Mesos
今天我們主要涉及的就是Standalone這種模式。在這種模式之下，我們完全可以使用NFS來(lái)代替Hadoop / HDFS. 并且在很多場(chǎng)景之下，Standalone
如何查看spark集群資源命令？
yarn.nodemanager.resource.memory-mb控制每個(gè)主機(jī)上container使用的最大內(nèi)存總和。
yarn.nodemanager.resource.cpu-vcores控制每個(gè)主機(jī)上container使用的最大內(nèi)核總數(shù)。
集群a上的spark能連接集群b上面的hbase嗎？
Spark SQL就是shark ，也就是SQL on Spark。如果沒(méi)記錯(cuò)的話(huà)，shark的開(kāi)發(fā)利用了hive的API，所以支持讀取HBase。而且Spark的數(shù)據(jù)類(lèi)型兼容范圍大于Hadoop，并且包含了Hadoop所支持的任何數(shù)據(jù)類(lèi)型。
到此，以上就是小編對(duì)于spark windows集群搭建的問(wèn)題就介紹到這了，希望這3點(diǎn)解答對(duì)大家有用。
當(dāng)前標(biāo)題：怎么看出spark是單機(jī)模式還是集群模式？（sparkwindows集群）
網(wǎng)頁(yè)地址：http://www.dlmjj.cn/article/djpjjis.html
