建站
咨詢
售后
建站咨詢
新聞中心
[[400100]]
1
1992年9月， 一個(gè)周三的下午，貝爾實(shí)驗(yàn)室。
為正藍(lán)等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計(jì)制作服務(wù)，及正藍(lán)網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為成都做網(wǎng)站、成都網(wǎng)站建設(shè)、正藍(lán)網(wǎng)站設(shè)計(jì)，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！
Rob Pike (Go語言發(fā)明人之一) 正在操作系統(tǒng)Plan 9 上忙碌，這是繼Unix之后的一個(gè)大工程， 馬上就要完工了， 這個(gè)時(shí)候他突然接到了一個(gè)電話。
(年輕帥氣的Rob Pike)
電話是IBM的人打來的，他們正在奧斯汀參加X/Open 委員會會議， 想請Rob Pike 和 Ken Thomson (Unix發(fā)明人) 對他們設(shè)計(jì)的一個(gè)Unicode編碼進(jìn)行評審。
Rob Pike知道X/Open委員會主要負(fù)責(zé)制定Unix上的標(biāo)準(zhǔn)規(guī)范，以便提高應(yīng)用程序的在不同Unix變體上的移植性。
很明顯，這一次會議的主題是：編碼!
Rob Pike想到了自己正在忙活的操作系統(tǒng)Plan 9 ， 為了支持全世界的語言如英文、中文、韓文、日文、阿拉伯文...... Plan 9 當(dāng)然要用Unicode 。
(這貨怎么和Go的吉祥物長得如此之像?)
大家都知道Unicode只是規(guī)定了每個(gè)字符用什么編碼，但是沒有規(guī)定如何去存儲， 當(dāng)時(shí)Plan 9 采用了一個(gè)叫做ISO 10646 UTF編碼， 但是這個(gè)編碼實(shí)在不怎么樣， 按照Rob Pike的話說：我們恨這個(gè)編碼。
Rob 和 Ken 立刻意識到：機(jī)會來了 !
Rob ：我們有豐富的經(jīng)驗(yàn)， 為什么不設(shè)計(jì)一個(gè)真正好用的Unicode存儲標(biāo)準(zhǔn)呢?
Ken ：同意， 我們設(shè)計(jì)出來，把標(biāo)準(zhǔn)推廣的事情交給X/Open委員會。
倆人向IBM的人表達(dá)了這個(gè)想法， 得到了支持，條件是： 一定要快，快速設(shè)計(jì)、快速實(shí)現(xiàn)。
因?yàn)橄轮芤痪鸵镀北頉Q了!
對于天才程序員來說，快速、高質(zhì)量把活兒搞定就是小菜一碟。
他們倆慢悠悠地去餐廳吃飯，在吃飯期間，Ken 和 Rob就把基本的方案給設(shè)計(jì)出來了，這就是大名鼎鼎的UTF-8。
回到貝爾實(shí)驗(yàn)室，他們就把想法寫成了提綱，發(fā)給了X/Open 委員會的人， 委員會的回復(fù)是：
這比我們設(shè)計(jì)的版本好多了，你們什么時(shí)候能實(shí)現(xiàn)它?
Rob 和Ken 拍著胸脯說：放心吧，下周一肯定能有一個(gè)完整的、可以運(yùn)行的實(shí)現(xiàn)。
當(dāng)天晚上(周三)，他們倆就卷起袖子干活， Ken 把packing和unpacking的代碼搞定， Rob則去折騰C和圖形庫相關(guān)的東西。
周四，所有的代碼都已完成，開始將Plan 9操作系統(tǒng)上的文本文件轉(zhuǎn)成UTF-8
周五，Plan 9 操作系統(tǒng)就已經(jīng)運(yùn)行在UTF-8上面了。
實(shí)際花費(fèi)不到三天!
這三天的工作成果最終統(tǒng)治了整個(gè)互聯(lián)網(wǎng)的編碼標(biāo)準(zhǔn)， 統(tǒng)計(jì)顯示， 現(xiàn)在96.8%的Web網(wǎng)站在使用UTF-8。
2
故事講完了，我們來看看為什么UTF-8能流行起來。
前面說過Unicode只是一個(gè)字符集，它規(guī)定了每個(gè)字符的二進(jìn)制代碼，例如“碼” ， 對應(yīng)的Unicode 是7801 ， 二進(jìn)制是
111 1000 0000 0001
需要兩個(gè)字節(jié)來保存， 如果表示其他更大范圍的字符，可能需要3個(gè)字節(jié)或者4個(gè)字節(jié)，甚至更多。
當(dāng)計(jì)算機(jī)面對這兩個(gè)字節(jié)的字節(jié)流的時(shí)候，就會出現(xiàn)嚴(yán)重的問題：計(jì)算機(jī)怎么知道這兩個(gè)字節(jié)表示的是一個(gè)字符?還是兩個(gè)字符?
大家知道英文字母用一個(gè)字節(jié)保存就夠了，如果Unicode規(guī)定每個(gè)英文字符也用兩個(gè)字節(jié)活三個(gè)字節(jié)來保存，那每個(gè)英文字母前面勢必要補(bǔ)上0， 文本文件要大兩到三倍。
這是巨大的浪費(fèi)，肯定不行。
Rob和Ken的設(shè)計(jì)的UTF-8就比較聰明， 看看這個(gè)表：
把Unicode 轉(zhuǎn)換成UTF-8，非常簡單，比如漢字“碼” ， Unicode 是7801 ， 二進(jìn)制是 111 1000 0000 0001
7810對應(yīng)上圖的第三行，只要把二進(jìn)制從右向左填到對應(yīng)的“模板”中就行，不夠的補(bǔ)零
更多的細(xì)節(jié)就不展開了，關(guān)鍵要看看UTF-8有什么好處。
3
1. 兼容ASCII， 表格中的第一行就是為ASCII所設(shè)。
多字節(jié)編碼的每個(gè)字節(jié)的最高位永遠(yuǎn)是 1，而 ASCII 字符編碼的最高位是 0，所以從根本上杜絕了編碼沖突。
2. 第一個(gè)字節(jié)就指明了后續(xù)的長度
當(dāng)程序面對一個(gè)字節(jié)流的時(shí)候，只需要讀出第一個(gè)字節(jié)最前面有幾個(gè)1 ，就知道這個(gè)字符的長度，解碼很方便。
3. 前綴碼
大家仔細(xì)觀察下， UTF-8中沒有任何合法字符是其他字符的前綴， 這樣就帶來了一個(gè)好處：支持程序快速地跳過有問題的字節(jié)，然后正常解碼。
假設(shè)有兩個(gè)中文 “碼” 和 “農(nóng)”， 對應(yīng)的UTF-8編碼為E7A081(碼) and E5869C(農(nóng))。
但是網(wǎng)絡(luò)傳輸丟失了一些數(shù)據(jù)，變成了 E781 E5869C (即“碼”的A0丟失了)
現(xiàn)在程序先讀到了E7, 二進(jìn)制是 1110 0111，它就知道這個(gè)字符應(yīng)該是3字節(jié)的， 并且后面的兩個(gè)字節(jié)都應(yīng)該以10 開頭。
于是它就要再讀兩個(gè)字節(jié)， 因?yàn)锳0這個(gè)字節(jié)丟失了， 程序讀到了81 和 E5。
程序就發(fā)現(xiàn)：
81 (二進(jìn)制10000001) 是符合規(guī)范的
E5(二進(jìn)制11100101)的開始兩個(gè)bit不是10啊， 這應(yīng)該是另外一個(gè)字符的開始。
所以程序就判斷出有字符丟失了，可以丟棄剛讀到的E7 81 , 然后從E5開始讀取， E5 86 9C ，最終顯示“農(nóng)”字。
是不是很巧妙?
如需轉(zhuǎn)載，請通過作者微信公眾號coderising獲取授權(quán)。
本文標(biāo)題：兩位巨佬的一頓晚飯，整個(gè)互聯(lián)網(wǎng)被改變了
文章源于：http://www.dlmjj.cn/article/coiedec.html
