建站
咨詢
售后
建站咨詢
新聞中心
深度學習模型擁有數(shù)以百萬計甚至數(shù)十億計的數(shù)值參數(shù)，因此可以做很多事情：檢測照片中的物體、識別語音、生成文本，甚至隱藏惡意軟件。加州大學圣迭戈分校和伊利諾伊大學的研究人員發(fā)現(xiàn)，神經(jīng)網(wǎng)絡可以嵌入惡意軟件中而不會觸發(fā)反惡意軟件。
創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設、高性價比永靖網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式永靖網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設找我們，業(yè)務覆蓋永靖地區(qū)。費用合理售后完善，十余年實體公司更值得信賴。
惡意軟件隱藏技術EvilModel揭示了深度學習的安全問題，這已經(jīng)成為機器學習和網(wǎng)絡安全會議的一個熱門討論話題。隨著深度學習在人們使用的應用程序中逐漸深入，安全社區(qū)需要考慮新的方法來保護用戶免受新出現(xiàn)的威脅。
將惡意軟件隱藏在深度學習模型中
每個深度學習模型都由多層人工神經(jīng)元組成。根據(jù)層的類型，每個神經(jīng)元與上一層和下一層的所有或部分神經(jīng)元都有連接。這些連接的強度是由訓練過程中的數(shù)值參數(shù)定義的，因為深度學習模型學習了它所設計的任務。大型神經(jīng)網(wǎng)絡可能包含數(shù)億個甚至數(shù)十億個參數(shù)。
EvilModel的工作流是一種在神經(jīng)網(wǎng)絡中嵌入惡意軟件的技術
EvilModel背后的主要想法是將惡意軟件嵌入到神經(jīng)網(wǎng)絡的參數(shù)中，使惡意軟件掃描對其不可見。這是隱寫術的一種形式，可以將一條信息隱藏在另一條信息中。
與此同時，受感染的深度學習模型必須執(zhí)行其主要任務(例如圖像分類)與干凈的模型一樣好或幾乎一樣好，以避免引起懷疑或使其對受害者無效。
最后，網(wǎng)絡攻擊者必須有一種機制，將受感染的模型發(fā)送到目標設備，并從神經(jīng)網(wǎng)絡的參數(shù)中提取惡意軟件。
改變參數(shù)值
大多數(shù)深度學習模型使用32位(4字節(jié))浮點數(shù)來存儲參數(shù)值。根據(jù)研究人員的實驗，網(wǎng)絡攻擊者可以在每個參數(shù)中存儲多達3字節(jié)的惡意軟件，而不會顯著影響其參數(shù)值。
神經(jīng)網(wǎng)絡中的每個參數(shù)都由一個4字節(jié)的浮點數(shù)組成。研究人員表示，最多可以使用3個字節(jié)來嵌入惡意代碼，而不會顯著改變數(shù)字的值。
當感染深度學習模型時，網(wǎng)絡攻擊者將惡意軟件分解為3個字節(jié)的片段，并將數(shù)據(jù)嵌入到其參數(shù)中。為了將惡意軟件交付給目標，網(wǎng)絡攻擊者可以將受感染的神經(jīng)網(wǎng)絡發(fā)布到包含深度學習模型(如GitHub或TorchHub)的幾個在線位置之一?；蛘撸W(wǎng)絡攻擊者可以實施一種更復雜的供應鏈攻擊形式，其中受感染的模型通過自動更新目標設備上安裝的軟件來交付。
一旦被感染的模型被交付給受害者，一個軟件提取有效載荷并執(zhí)行它。
將惡意軟件隱藏在卷積神經(jīng)網(wǎng)絡中
為了驗證EvilModel的可行性，研究人員在幾個卷積神經(jīng)網(wǎng)絡(CNN)上進行了測試。其中幾個原因使卷積神經(jīng)網(wǎng)絡(CNN)成為一項有趣的研究。首先，它們的規(guī)模相當大，通常包含數(shù)十個層以及數(shù)百萬個參數(shù)。其次，它們包含不同的架構，并包含不同類型的層(全連接層、卷積層)和不同的泛化技術(批標準化層、退出層、池化層等)，這使得評估在不同設置中嵌入惡意軟件的影響成為可能。第三，卷積神經(jīng)網(wǎng)絡(CNN廣泛應用于計算機視覺應用中，這可能使它們成為惡意攻擊者的首要目標。最后，有許多預先訓練的卷積神經(jīng)網(wǎng)絡(CNN)可以不做任何修改就集成到應用程序中，許多開發(fā)人員在他們的應用程序中使用預先訓練的卷積神經(jīng)網(wǎng)絡(CNN)，而不一定需要知道深度學習在底層是如何工作的。
研究人員首先嘗試在AlexNet中嵌入惡意軟件，這是一個受歡迎的卷積神經(jīng)網(wǎng)絡(CNN)，在2012年幫助恢復了人們對深度學習的興趣。AlexNet有178兆字節(jié)，有5個卷積層和3個密集(或全連接)層。
AlexNet卷積神經(jīng)網(wǎng)絡(CNN)
當AlexNet使用批處理標準化技術進行訓練時，研究人員能夠在模型中嵌入26.8兆字節(jié)的惡意軟件，同時將其準確性保持在干凈版本的1%以內。批標準化層是一種在深度學習模型中運行之前將訓練示例分組標準化的技術。如果他們增加了惡意軟件的數(shù)據(jù)量，那么準確度將會開始顯著下降。
接下來，他們試圖在感染該模型后對其進行再訓練。通過凍結受感染的神經(jīng)元，他們防止它們在額外的訓練周期中被修改。通過批量標準化和再訓練，研究人員可以將惡意軟件數(shù)據(jù)的容量增加到36.9兆字節(jié)，同時保持模型的準確性在90%以上。
左圖：當被惡意軟件感染時，更深層次的神經(jīng)網(wǎng)絡可以保持其準確性。右圖：批標準化層和感染后再訓練提高了模型的準確性
這些模型來自InQuest數(shù)據(jù)庫的8個感染樣本，所有這些樣本都被在線VirusTotal掃描儀識別為惡意軟件。一旦樣本被嵌入神經(jīng)網(wǎng)絡，整個模型就被上傳到VirusTotal，但被標記為安全的，這證明惡意軟件隱藏得很好。
研究人員在其他幾個卷積神經(jīng)網(wǎng)絡(CNN) 架構上測試了這項技術，其中包括VGG、Resnet、Inception和Mobilenet。他們得到了類似的結果，這表明惡意嵌入是對大型神經(jīng)網(wǎng)絡的普遍威脅。
確保機器學習管道
由于惡意軟件掃描儀無法檢測到嵌入在深度學習模型中的惡意有效載荷，對付EvilModel的唯一辦法就是銷毀惡意軟件。
負載僅在其字節(jié)保持完整的情況下才保持其完整性。因此，如果接收EvilModel的人員在不凍結受感染層的情況下重新訓練神經(jīng)網(wǎng)絡，其參數(shù)值就會改變，惡意軟件的數(shù)據(jù)就會被銷毀。甚至一個階段的訓練就足以摧毀深度學習模型中嵌入的任何惡意軟件。
然而，大多數(shù)開發(fā)人員使用預先訓練過的模型，除非他們想針對另一個應用程序對其進行微調。某些形式的微調會凍結網(wǎng)絡中大多數(shù)現(xiàn)有的層，其中可能包括受感染的層。
這意味著，除了對抗性攻擊、數(shù)據(jù)中毒、成員推斷和其他已知的安全問題之外，感染惡意軟件的神經(jīng)網(wǎng)絡對深度學習的未來構成了真正的威脅。
對抗性機器學習威脅矩陣提供機器學習管道中的弱點
機器學習模型與經(jīng)典的基于規(guī)則的軟件之間的差異需要新的方法來考慮安全威脅。今年早些時候，一些組織引入了對抗性機器學習威脅矩陣，該框架有助于發(fā)現(xiàn)機器學習管道中的弱點并修補安全漏洞。
雖然威脅矩陣側重于對抗性攻擊，但其方法也適用于諸如惡意攻擊等威脅。在研究人員找到更可靠的方法來檢測和阻止深層神經(jīng)網(wǎng)絡中的惡意軟件之前，必須在機器學習管道中建立信任鏈。由于知道惡意軟件掃描程序和靜態(tài)分析工具無法檢測受感染的模型，開發(fā)人員必須確保他們的模型來自可信的來源，并且訓練數(shù)據(jù)和學習參數(shù)的來源不會被破壞。當繼續(xù)學習深度學習的安全性時，必須警惕在分析照片和識別聲音時的數(shù)以百萬計的數(shù)值參數(shù)背后隱藏著什么。
原文標題：Neural networks can hide malware, researchers find，作者：Ben Dickson
新聞名稱：研究發(fā)現(xiàn)神經(jīng)網(wǎng)絡可以隱藏惡意軟件
轉載注明：http://www.dlmjj.cn/article/cddecdd.html
