建站
咨詢
售后
建站咨詢
新聞中心
這篇文章聊一個話題：什么是分布式計算系統(tǒng)？
在梁溪等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站制作、成都網(wǎng)站設(shè)計 網(wǎng)站設(shè)計制作定制網(wǎng)站建設(shè),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站建設(shè),全網(wǎng)整合營銷推廣,外貿(mào)網(wǎng)站制作,梁溪網(wǎng)站建設(shè)費用合理。
一、從一個新聞門戶網(wǎng)站案例引入
現(xiàn)在很多同學(xué)經(jīng)常會看到一些名詞，比如分布式服務(wù)框架，分布式系統(tǒng)，分布式存儲系統(tǒng)，分布式消息系統(tǒng)。
但是有些經(jīng)驗尚淺的同學(xué)，可能都很容易被這些名詞給搞暈。所以這篇文章就對“分布式計算系統(tǒng)”這個概念做一個科普類的分析。
如果你要理解啥是分布式計算，就必須先得理解啥是分布式存儲，現(xiàn)在我們從一個小例子來引入。
比如說現(xiàn)在你有一個網(wǎng)站，咱們假設(shè)是一個新聞門戶網(wǎng)站好了。每天是不是會有可能上千萬用戶會涌入進來看你的新聞？
好的，那么他們會怎么看新聞呢？
其實很簡單，首先他們會點擊一些板塊，比如“體育板塊”，“娛樂板塊”。
然后，點擊一些新聞標題，比如“20年來最刺激的一場比賽即將拉開帷幕”，接著還可能會發(fā)表一些評論，或者點擊對某個好的新聞進行收藏。
那么你的這些用戶干的這些事兒有一個專業(yè)的名詞，叫做“用戶行為”。
因為在你的網(wǎng)站或者APP上，用戶一定會進行各種操作，點擊各種按鈕，發(fā)表一些信息，這些都是各種行為，統(tǒng)稱為“用戶行為”。
好了，現(xiàn)在假如說新聞門戶網(wǎng)站的boss說想要做一個功能，在網(wǎng)站里每天做一個排行榜，統(tǒng)計出來每天每個版塊被點擊的次數(shù)，包括最熱門的一些新聞。
然后呢，在網(wǎng)站后臺系統(tǒng)里需要有一些報表，要讓他看到不同的編輯產(chǎn)出的文章的點擊量匯總，做一個編輯的績效排名，還有很多類似的事情。
這些事情叫什么呢？你可以認為是基于用戶行為數(shù)據(jù)進行分析和統(tǒng)計，產(chǎn)出各種各樣的數(shù)據(jù)統(tǒng)計分析報表和結(jié)果，供網(wǎng)站的用戶、管理人員來查看。
這也有一個專業(yè)的名詞，叫做“用戶行為分析”。
二、推算一下你需要分析多少條數(shù)據(jù)？
好，咱么繼續(xù)。如果你要對用戶行為進行分析，那你是不是首先需要收集這些用戶行為的數(shù)據(jù)？
比如說有個哥兒們現(xiàn)在點了一下“體育”板塊，你需要在網(wǎng)頁前端或者是APP上立馬發(fā)送一條日志到后臺，記錄清楚“id為117的用戶點擊了一下id位003的板塊”。
同樣，這個東西也有一個專業(yè)的名詞，叫做“用戶行為日志”。
那你可以來計算一下，這些用戶行為如果采用日志的方式收集，每天大概會產(chǎn)生多少條數(shù)據(jù)？
假設(shè)每天1000萬人訪問你的新聞網(wǎng)站，平均每個人做出30個點擊、評論以及收藏等行為，那么就是3億條用戶行為日志。
假設(shè)每條用戶行為日志的大小是100個字節(jié)，因為可能包含了很多很多的字段，比如他是在網(wǎng)頁點擊的，還是在手機APP上點擊的，手機APP是用的什么操作系統(tǒng)，android還是IOS，類似這樣的字段是很多的。
那么你就有每天大概28GB左右的數(shù)據(jù)，這里一共包含3億條。
假如對這3億條數(shù)據(jù)，你就自己寫個Java程序，從一個超大的28GB的大日志文件里，一條一條讀取日志來統(tǒng)計分析和計算，一直到把3億條數(shù)據(jù)都計算完畢，你覺得會花費多少時間？
不可想象，根據(jù)你的計算邏輯復(fù)雜度來說，搞不好要花費幾十個小時的時間。
所以你覺得這種大數(shù)據(jù)場景下的分析，這么玩兒靠譜么？不靠譜。
三、黃金搭檔：分布式存儲+分布式計算
所以這個時候，你就可以首先采用分布式存儲的方式，把那3億條數(shù)據(jù)分散存放在比如30臺機器上，每臺機器大概就放1000萬條數(shù)據(jù)，大概就1GB的數(shù)據(jù)量。
大家看看下面的圖：
接著你就可以上分布式計算了，你可以把統(tǒng)計分析數(shù)據(jù)的計算任務(wù)，拆分成30個計算任務(wù)，每個計算任務(wù)都分發(fā)到一臺機器上去運行。
也就是說，就專門針對機器本地的1GB數(shù)據(jù)，那1000萬條數(shù)據(jù)進行分析和計算。
這樣的好處就是可以依托30臺機器的資源并行的進行數(shù)據(jù)的統(tǒng)計和分析，這也就是所謂的分布式計算了。
每臺機器的計算結(jié)果出來之后，就可以進行綜合性的匯總，然后就可以拿到最終的一個分析結(jié)果，大家看下圖。
假設(shè)之前你的3億條數(shù)據(jù)都在一個30GB的大文件里，然后你一個Java程序一條一條慢慢讀慢慢計算，需要耗費30小時。
那么現(xiàn)在把計算任務(wù)并行到了30臺機器上去，就可以提升30倍的計算速度，是不是就只需要1小時就可以完成計算了？
所以這個就是所謂的分布式計算，他一般是針對超大數(shù)據(jù)集，也就是現(xiàn)在很流行的大數(shù)據(jù)進行計算的。
首先需要將超大數(shù)據(jù)集拆分成很多數(shù)據(jù)塊分散在多臺機器上，然后把計算任務(wù)分發(fā)到各個機器上去，利用多臺機器的CPU、內(nèi)存等計算資源來進行計算。
這種分布式計算的方式，對于超大數(shù)據(jù)集的計算可以提升幾十倍甚至幾百倍的效率，其實這個理論和概念，也是大數(shù)據(jù)技術(shù)的基礎(chǔ)。
比如現(xiàn)在最流行的大數(shù)據(jù)技術(shù)棧里，Hadoop HDFS就是用做分布式存儲的，他可以把一個超大文件拆分為很多小的數(shù)據(jù)塊放在很多機器上。
而像Spark就是分布式計算系統(tǒng)，他可以把計算任務(wù)分發(fā)到各個機器上，對各個數(shù)據(jù)塊進行并行計算。
以上就是用大白話+畫圖，給小白同學(xué)們科普了一下分布式計算系統(tǒng)的相關(guān)知識，相信大家看了之后，對分布式計算系統(tǒng)，應(yīng)該有一個初步的認識了。
分享題目：連你女朋友都能看懂的分布式架構(gòu)原理！
本文鏈接：http://www.dlmjj.cn/article/cdgjjjo.html
