Spark項(xiàng)目為何會在云環(huán)境中大放光芒？

譯文
作者：核子可樂譯 2015-07-31 11:26:26

云計(jì)算

Spark 就在上個月，多家在云及商業(yè)計(jì)算領(lǐng)域聲名顯赫的巨頭公開表達(dá)（并決定投資）了對Apache Spark數(shù)據(jù)分析項(xiàng)目的興趣。是什么讓這些老牌勁旅對這款年輕的技術(shù)方案青眼有加？

站在用戶的角度思考問題，與客戶深入溝通，找到汕頭網(wǎng)站設(shè)計(jì)與汕頭網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個性化、用戶體驗(yàn)好的作品，建站類型包括：成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、國際域名空間、網(wǎng)站空間、企業(yè)郵箱。業(yè)務(wù)覆蓋汕頭地區(qū)。

 最近幾個月以來，業(yè)界對于Apache Spark項(xiàng)目的興趣與投入迎來了顯著提升，而這皆要?dú)w功于云客戶規(guī)模的不斷拓展。

就在上個月，多家在云及商業(yè)計(jì)算領(lǐng)域聲名顯赫的巨頭公開表達(dá)（并決定投資）了對Apache Spark數(shù)據(jù)分析項(xiàng)目的興趣。是什么讓這些老牌勁旅對這款年輕的技術(shù)方案青眼有加？

這種興奮當(dāng)然不會毫無來由，事實(shí)上這項(xiàng)***發(fā)展前景的技術(shù)已經(jīng)得到了廣泛應(yīng)用。不過要想讓該項(xiàng)目真正在云環(huán)境下變成吸金利器，我們還面臨著兩個重大課題——一是便捷性，二是規(guī)?；?。

Spark的吸引力

最近幾個月來，對Spark項(xiàng)目表現(xiàn)出深厚興趣的廠商包括：

? IBM。除了將Spark支持能力加入自家Bluemix PaaS之外，IBM方面還將SystemML機(jī)器學(xué)習(xí)算法構(gòu)建技術(shù)貢獻(xiàn)給Spark。

? 微軟。將Spark支持能力納入自家Azure HDInsight（微軟的云托管Hadoop版本）。

? Amazon。其Elastic MapReduce服務(wù)將能夠運(yùn)行以Scala、Python以及Java語言開發(fā)的Spark應(yīng)用程序。

? 華為。這家中國網(wǎng)絡(luò)巨頭最近公布了一個名為Astro的項(xiàng)目，其將Spark、Spark SQL以及HBase打包于一款產(chǎn)品當(dāng)中。Spark目前也被華為公司用于其基于Hadoop的FusionInsight產(chǎn)品，并作為服務(wù)由華為開發(fā)的新興云平臺交付。

Spark之所以擁有出眾的吸引力，是因?yàn)樗軌蛟贖adoop當(dāng)中提供強(qiáng)大的內(nèi)存內(nèi)數(shù)據(jù)處理組件，專門應(yīng)對實(shí)時及批量事件。在雅虎公司，也就是Hadoop項(xiàng)目的發(fā)源地，Spark已經(jīng)成為分析運(yùn)營流程當(dāng)中的核心與基石。

對于以上廠商而言，Spark項(xiàng)目能夠?yàn)槠湓茦I(yè)務(wù)提供***技術(shù)支持——無論是否配合Hadoop（雖然一般情況下會配合Hadoop）。隨著市場價格競爭趨于白熱化甚至開始探底，云供應(yīng)商之間的競爭目前仍然主要受限于原本的內(nèi)部數(shù)據(jù)中心層面，而往往無法真正發(fā)揮云體系的規(guī)模化等獨(dú)特優(yōu)勢。（事實(shí)上，在我們目前所處的階段中，越來越多的業(yè)務(wù)數(shù)據(jù)開始在云中生成，而不再像過去那樣單純將數(shù)據(jù)遷移至云端。）

點(diǎn)燃下一場燎原烈火

Spark在這一過程中的作用同樣非常關(guān)鍵，因?yàn)槲磥淼闹饕l(fā)展方向以及項(xiàng)目的潛在影響都取決于Spark將如何以云資源的方式實(shí)現(xiàn)部署。

IBM公司正默默為Spark項(xiàng)目作出貢獻(xiàn)。而Spark開發(fā)廠商Databricks則有著自己的計(jì)劃，希望能夠起到更為徹底的效果。其Tungsten項(xiàng)目為Spark的內(nèi)存利用及分配方式作出了重大改造，旨在借此提高性能水平。這不僅有利于吸引更多開發(fā)商的加入，同時也有助于Spark以“即服務(wù)”的方式實(shí)現(xiàn)交付。

頗具諷刺意味的是，Spark在云環(huán)境下的人氣明顯更高，其甚至直接威脅到了Databricks公司自身的商業(yè)模式。Andy Oliver曾對Daatabricks公司的Spark產(chǎn)品進(jìn)行過一番審查，并發(fā)現(xiàn)該公司“絕不成為數(shù)據(jù)科學(xué)領(lǐng)域的Tableau”的口號完全沒能成為現(xiàn)實(shí)。另外，以上列出的各大競爭參與者雖然不一定會與自家Spark產(chǎn)品產(chǎn)生這種交集關(guān)系，但此類產(chǎn)品的出現(xiàn)實(shí)際上更為直接地對Spark工作負(fù)載作出了補(bǔ)充。

Spark在其它多個方面還有待完善及成熟——包括說明文檔、商業(yè)支持、中間件集成以及為用戶提供更多預(yù)置Spark應(yīng)用程序等等。除了***一項(xiàng)，其它任務(wù)非常適合由Spark項(xiàng)目的企業(yè)貢獻(xiàn)者及贊助商們來完成——當(dāng)然，除非這幫家伙提供貢獻(xiàn)的目的完全是為了確保Spark能夠在其云平臺上運(yùn)作良好，并為其客戶提供服務(wù)。

網(wǎng)站標(biāo)題：Spark項(xiàng)目為何會在云環(huán)境中大放光芒？
分享鏈接：http://www.dlmjj.cn/article/cccgdhh.html