建站
咨詢
售后
建站咨詢
新聞中心
桌面分享編碼技術(shù)的演變
by 技術(shù)怪咖 湯軍
導讀：桌面分享從功能上應該怎么分？數(shù)據(jù)編碼的技術(shù)演變又是如何演變的？資深工程師湯軍結(jié)合自己多年的實操經(jīng)驗，給出獨到見解
由于最近幾年的工作分別在“在線教育”和“視頻會議”領(lǐng)域，在這兩個領(lǐng)域?qū)τ脩舳宰钪匾墓δ艹苏Z音就是桌面分享，恰巧這也是我所擅長的領(lǐng)域。
桌面分享從功能上可以拆分為屏幕抓取與數(shù)據(jù)編碼兩個大的方面。其中屏幕抓取，主要獲取數(shù)據(jù)源，在當前的機器的運算能下，該功能已不再是瓶頸，所以我們下面主要聊聊數(shù)據(jù)編碼的技術(shù)演變。
桌面分享功能脫胎于遠程桌面技術(shù)
最早的遠程桌面是基于命令行界面的模擬終端。此時并不涉及到抓屏與編碼，終端與遠端機器之間通訊的是shell命令，以及命令的執(zhí)行結(jié)果，對機器的性能以及網(wǎng)絡代碼的需求很低。
隨著Win95系統(tǒng)上市并且成功引爆圖形界面操作系統(tǒng)市場，受限于當時機器的性能以及網(wǎng)絡帶寬，在相當長一段時間中都沒有出現(xiàn)針對圖形操作系統(tǒng)的遠程桌面工具。直到Windows2000上市，微軟在其中提供了遠程桌面組件，才第一次實現(xiàn)了基于圖形界面的遠程桌面。
早期的圖形界面的分辨率比較低（800*600），顏色數(shù)比較少（以16位色居多，24位真彩色很少見）。然而就算這樣，屏幕數(shù)據(jù)量（937KB）對于當時的寬帶網(wǎng)絡（ADSL撥號上網(wǎng)，上傳帶寬512kb~1Mb）也是個沉重的負擔，理論上以當時的網(wǎng)絡，傳遞一幀未壓縮的屏幕數(shù)據(jù)需要用時8~16秒，這顯然無法接受。為了能更快的將桌面圖形快速的通過網(wǎng)絡傳遞到終端，桌面數(shù)據(jù)的壓縮編碼就應運而生了。
桌面數(shù)據(jù)壓縮之初，主要被用來解決幀數(shù)據(jù)過大這個問題。所以首先被應用的就是當時很流行的圖片數(shù)據(jù)有損壓縮方法（JPG），該壓縮算法在圖片質(zhì)量下降不是很明顯的情況下，壓縮后的圖片僅為原大小的10%。在使用了JPG壓縮算法后，對于觀看遠端靜態(tài)文檔暫時勉強夠用。
為了能進一步減少傳輸間隔，在沒辦法減少每一幀數(shù)據(jù)大小的情況下，我們問自己，每一次都傳輸完整的幀數(shù)據(jù)，就是是否必須？經(jīng)過分析，我們發(fā)現(xiàn)桌面發(fā)生完全變化的概率很少，絕大部分都是局部變化，如：按鈕獲取焦點，某個控件數(shù)據(jù)獲得更新等。
針對“痛點”，研究解決問題
為此我們設計了分塊編碼的策略：首先將整個桌面數(shù)據(jù)分塊(見圖1)，然后每一個分塊在編碼前先與上一幀對應的分塊進行比較，僅當數(shù)據(jù)發(fā)生了變化時，才使用JPG算法壓縮。每次只傳輸發(fā)生變化的分塊的數(shù)據(jù)，接收端總是在上次展示的幀數(shù)據(jù)上做修改。如此，在不降低第一幀數(shù)據(jù)延遲的情況下，大大減少了其他幀數(shù)據(jù)的延遲。
（圖1）
在實際使用中發(fā)現(xiàn)，對于純文本展示（文本文件、PPT、靜態(tài)網(wǎng)頁等），使用JPG方法壓縮后字體的背景不是很干凈。放大圖片后發(fā)現(xiàn)文本顯示的邊緣與背景融合處使用了漸變色過渡。
而JPG壓縮會丟失這部分信息的細節(jié)。對于純文本展示（文本文件、PPT、靜態(tài)網(wǎng)頁等）的桌面數(shù)據(jù)觀察發(fā)現(xiàn)，大部分為少數(shù)顏色的文本加大面積單色的背景。對于這種類型數(shù)據(jù)恰巧可以使用基于調(diào)色盤的無損壓縮。我們又再次改進了之前的編碼策略。在已經(jīng)判定塊需要編碼的情況下，再分析塊中使用的顏色數(shù)，依據(jù)顏色數(shù)的不同選擇不同的編碼方式。
隨著機器性能的持續(xù)提升，顯示器的分辨率越來越高，1080P全高清成為主流，4K屏也不鮮見，并且越來越多。用戶在使用PPT等展示數(shù)據(jù)時，復雜背景、植入的圖表（視頻），翻頁的動畫效果，全都越來越多。網(wǎng)絡帶寬雖然也有提升，但完全跟不上機器性能提升的速度。上述的編碼方案在桌面短時間發(fā)生劇烈改變時，產(chǎn)生了大量的爆發(fā)數(shù)據(jù)。
而按上述方案，后續(xù)數(shù)據(jù)的顯示又必須依賴前面數(shù)據(jù)的更新。由于爆發(fā)數(shù)據(jù)導致的數(shù)據(jù)積壓，使得桌面分享實時性越來越差。分析上述場景，我們發(fā)現(xiàn)在用戶切換PPT頁面的動畫播放期間，可能產(chǎn)生了5幀畫面，并且這5幀畫面的變化都比較大，如果一一進行編碼傳輸，會導致傳輸在短期出現(xiàn)一個峰值，超出了帶寬的承載能力。但是相對于頁面切換動畫，觀看者更期望能更快的看到下一頁的PPT。
為此，我們引入了延遲編碼的策略，當桌面兩幀數(shù)據(jù)之間的差異很大的時候，我們暫存待編碼的幀，等待下一幀數(shù)據(jù)，同時開始計時。下一幀數(shù)據(jù)獲取后，該幀和待編碼的幀之間的差異如果很大，用該幀代替待編碼幀，繼續(xù)等待；如果該差異比較小，丟棄待編碼的幀，編碼當前幀數(shù)據(jù)并發(fā)送到觀看端。
如果兩幀之間的差異一直很大，那么當計時器（500毫秒）超時后，編碼當前等待幀，并復位定時器。在全時云會議的開發(fā)項目中，我們設計并實現(xiàn)了上面的延遲編碼策略，顯著加快了復雜PPT頁面切換時的觀看延遲。
新時代新技術(shù)對我們來說是雙刃劍
從2007年以來，視頻流媒體技術(shù)得到了長足的進步。從早期H261、H263到現(xiàn)在的H264，以及為了應對目前越來越普及的超高清（4k分辨率）視頻而出現(xiàn)的H265和VP9、VP10編碼。
而用戶對桌面共享的流暢性的期望越來越向視頻的流暢度靠攏，這使得我們不得不考慮，桌面數(shù)據(jù)的壓縮方式是否能使用視頻的壓縮方法。我們發(fā)現(xiàn)，桌面數(shù)據(jù)走視頻流的模式對于持續(xù)變化的桌面分享有顯著的削峰填谷效果。
視頻編碼在應對持續(xù)變化的時候，可以通過短期（毫秒級）降低畫面質(zhì)量的辦法來控制爆發(fā)數(shù)據(jù)波峰，等到畫面變化停止的瞬間立刻將畫面質(zhì)量提升上來。我們有理由相信，視頻流媒體的編碼方式是桌面共享支持高清、超高清畫面的“銀彈”。
以上的技術(shù)探索歷程，實際上耗費了相當?shù)臅r間精力，而且是個持續(xù)改進的過程，因為產(chǎn)品和技術(shù)的迭代本身就不是件一勞永逸的事。僅筆者所在的團隊，5個人，7年多以來一直在“發(fā)現(xiàn)問題-認證分析-改進-發(fā)現(xiàn)問題”的循環(huán)中，而且預計以后也是這樣，不在改進，就在改進的路上，但是從各種反饋看來，效果的確不錯。
前幾年有一次客戶環(huán)境下測試，全時云會議就比另一個國外大牌視頻會議的效果要好很多，比另一個產(chǎn)品早了幾分鐘接通對方而且會議效果很不錯，不枉我們的努力心血，當然這也是純自主研發(fā)的技術(shù)好處，直接把國外技術(shù)拿來用，在國內(nèi)這種網(wǎng)絡條件下，基本可以肯定要水土不服。
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。
新聞標題：桌面分享編碼技術(shù)的演變-創(chuàng)新互聯(lián)
標題鏈接：http://www.dlmjj.cn/article/jocec.html
