建站
咨詢
售后
建站咨詢
新聞中心
計(jì)算機(jī)科學(xué)中正迅速發(fā)展的機(jī)器學(xué)習(xí)領(lǐng)域，工程師們常將人工智能(AI)稱作“黑箱”系統(tǒng)：一旦機(jī)器學(xué)習(xí)引擎經(jīng)由樣本數(shù)據(jù)集訓(xùn)練，用以執(zhí)行從面部識別到惡意軟件檢測等各種任務(wù)，它們便能接受詢問——這是誰的臉?這個(gè)App安全嗎?并能自行給出答案——無需任何人，甚至是其創(chuàng)造者的指導(dǎo)，自身內(nèi)部就完全理解了決策機(jī)制。
成都創(chuàng)新互聯(lián)2013年至今，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站建設(shè)、網(wǎng)站建設(shè)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢想脫穎而出為使命，1280元江達(dá)做網(wǎng)站,已為上家服務(wù),為江達(dá)各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:028-86922220
但研究人員逐漸證明，雖然這些機(jī)器學(xué)習(xí)引擎的內(nèi)部機(jī)制神秘莫測，它們也并非是完全隱秘的。事實(shí)上，研究人員已經(jīng)發(fā)現(xiàn)這些黑箱的內(nèi)容物可以被逆向，甚至完全復(fù)制——用某隊(duì)研究員的話說就是“竊取”，逆向和復(fù)制方法還是用以創(chuàng)建這些系統(tǒng)的同一套。
9月初發(fā)表的一篇論文《通過 Prediction API 盜取機(jī)器學(xué)習(xí)模型》中，來自康乃爾科技學(xué)院、瑞士洛桑理工學(xué)院(EPFL)、北卡羅萊納大學(xué)的一隊(duì)計(jì)算機(jī)科學(xué)家，詳細(xì)描述了他們是怎樣僅靠發(fā)問和分析響應(yīng)，來逆向機(jī)器學(xué)習(xí)訓(xùn)練過的AI的。通過用目標(biāo)AI的輸出來訓(xùn)練他們自己的AI，這隊(duì)科學(xué)家可以產(chǎn)出能近100%預(yù)測被克隆AI響應(yīng)的軟件，有時(shí)候僅用幾千甚至幾百個(gè)查詢來訓(xùn)練就行了。
康乃爾科技學(xué)院教授阿里·祖爾說：“拿到黑箱，通過這個(gè)窄小的接口，你就可以重建其內(nèi)部，逆向工程這個(gè)箱子。某些情況下，真能達(dá)到完美重現(xiàn)。”
拿下黑箱內(nèi)部
研究人員表示，該手法可被用于允許用戶上傳數(shù)據(jù)給機(jī)器學(xué)習(xí)引擎，并在線發(fā)布或共享結(jié)果模型的服務(wù)。亞馬遜、谷歌、微軟、BigML之類的公司都有提供此類服務(wù)，有時(shí)候是以按查詢付款的商業(yè)模式提供。研究人員將自己的方法稱之為“萃取攻擊”，該方法能復(fù)制本應(yīng)專有的AI引擎，某些情況下甚至能重現(xiàn)當(dāng)初用以訓(xùn)練AI的敏感私有數(shù)據(jù)。進(jìn)入斯坦福大學(xué)之前忙于此AI盜取項(xiàng)目的EPFL研究員弗洛里安·特拉馬爾說：“一旦你發(fā)現(xiàn)了其中模型，就不需要再為專利AI付費(fèi)了，還能獲取大量隱私泄露?！?/p>
其他情況下，該技術(shù)可能會(huì)讓黑客逆向并擊潰基于機(jī)器學(xué)習(xí)的安全系統(tǒng)，比如用來過濾垃圾郵件和惡意軟件的那些?！皫讉€(gè)小時(shí)的努力后，你就能萃取出一個(gè)AI模型，如果此模型被用于某個(gè)產(chǎn)品系統(tǒng)，那這個(gè)系統(tǒng)從此對你再無阻礙?！?/p>
研究人員的技術(shù)，基本上是通過機(jī)器學(xué)習(xí)自身來逆向機(jī)器學(xué)習(xí)軟件。簡單舉例，機(jī)器學(xué)習(xí)訓(xùn)練的垃圾郵件過濾器，可以判定所給郵件是否垃圾郵件，它會(huì)給出一個(gè)“置信度值”，揭示其判斷的正確程度?；卮鹂杀幻枋鰹锳I決策閾值界限任一邊的點(diǎn)，置信度值顯示的就是這個(gè)點(diǎn)距離界限的遠(yuǎn)近。不斷用測試郵件嘗試過濾器，可以揭示出定義那條界限的精確線。該技術(shù)可被擴(kuò)展成更加復(fù)雜的多維模型，給出更為精準(zhǔn)的答案而非簡單的“是/不是”回答。(甚至目標(biāo)機(jī)器學(xué)習(xí)引擎不提供置信度值的情況下，這手段都有效，只不過需要數(shù)十上百倍的查詢。)
盜取牛排熟度偏好預(yù)測器
研究人員在兩個(gè)服務(wù)上測試了他們的攻擊方法：亞馬遜的機(jī)器學(xué)習(xí)平臺，以及線上機(jī)器學(xué)習(xí)服務(wù)BigML。他們用一系列通用數(shù)據(jù)集逆向工程了基于這些平臺的AI模型。例如，在亞馬遜的平臺上，他們嘗試“盜取”一個(gè)基于人口統(tǒng)計(jì)學(xué)因素預(yù)測個(gè)人薪水的算法。該算法用到的人口統(tǒng)計(jì)學(xué)因素包括有聘用情況、婚姻狀況、信用評分等。亞馬遜平臺上另一個(gè)試圖基于手寫數(shù)字圖片識別其中數(shù)字的算法，也在他們盜取目標(biāo)之列。人口統(tǒng)計(jì)學(xué)案例中，僅1485次查詢，就復(fù)制出了相差無幾的模型。數(shù)字識別案例甚至區(qū)區(qū)650次查詢就達(dá)成復(fù)制目的。
BigML服務(wù)上，基于人口統(tǒng)計(jì)學(xué)預(yù)測德國公民信用評分的一個(gè)算法，以及基于其他生活方式問題答案預(yù)測人們牛排熟度偏好的另一個(gè)算法，是他們檢測其“萃取技術(shù)”的目標(biāo)。復(fù)制信用評分引擎花費(fèi)了1150次查詢;拷貝牛排熟度偏好預(yù)測器，則用掉了超過4000次查詢。
尼古拉斯·帕佩諾特，賓夕法尼亞州立大學(xué)研究員，今年早些時(shí)候進(jìn)行了另一個(gè)機(jī)器學(xué)習(xí)逆向工程項(xiàng)目的研究。他說，不是每個(gè)機(jī)器學(xué)習(xí)算法都能被簡單重現(xiàn)。這篇最新AI盜取論文中的例子，重現(xiàn)的是相對簡單的機(jī)器學(xué)習(xí)引擎。更復(fù)雜的引擎需要多得多的計(jì)算量，尤其是機(jī)器學(xué)習(xí)接口學(xué)會(huì)隱藏其置信度值的情況下?！叭绻麢C(jī)器學(xué)習(xí)平臺決定使用更大的模型，或者隱藏起置信度值，那么攻擊難度就大得多了。但這篇論文還是很有趣，因?yàn)樗麄儽┞冻霎?dāng)前機(jī)器學(xué)習(xí)服務(wù)的模型是如此淺陋，隨隨便便就能被萃取?！?/p>
在給《連線》雜志的一封電子郵件中，BigML預(yù)測應(yīng)用副總裁阿塔康·塞汀索依對該研究不慎重視。他寫道：“這研究根本沒暴露出BigML的平臺有任何的安全或隱私威脅?！彼q稱，雖然BigML確實(shí)允許用戶以按查詢付費(fèi)的方式共享黑箱AI引擎，但目前沒有任何用戶對他們共享的AI引擎收費(fèi)。他還贊同帕佩諾特的觀點(diǎn)，認(rèn)為BigML上托管的很多機(jī)器學(xué)習(xí)模型都過于復(fù)雜，無法逆向，而且對該服務(wù)上模型的任何盜取行為都是違法的。
亞馬遜拒絕了《連線》雜志的評論請求，但研究人員聯(lián)系該公司時(shí)，亞馬遜回復(fù)說，因?yàn)閬嗰R遜沒有公開其機(jī)器學(xué)習(xí)引擎，僅允許用戶在協(xié)作者間共享訪問，他們AI盜取攻擊的風(fēng)險(xiǎn)是被減輕了的。換句話說，該公司警告：注意你共享AI的對象。
從面部識別到面部重建
除了單純的AI盜取，研究人員的攻擊還能讓用于AI訓(xùn)練的敏感數(shù)據(jù)重建變得更加容易。去年年末發(fā)表的另一篇論文就表明，根據(jù)照片猜測人名的面部識別AI是可以被逆向的。該方法會(huì)向目標(biāo)AI不斷發(fā)送測試照片，微調(diào)這些照片，直到命中該機(jī)器學(xué)習(xí)引擎借以訓(xùn)練的照片，在研究人員的電腦從未實(shí)際見過的情況下重現(xiàn)出確切人臉圖像。通過在執(zhí)行面部重建技術(shù)之前進(jìn)行他們的AI盜取攻擊，研究人員在自己電腦上運(yùn)行的盜版AI上重建面部圖像，甚至比用原版AI引擎還快得多。盜版AI在10小時(shí)之內(nèi)就重建了40幅不同人臉，而原版AI需要16小時(shí)。
逆向工程機(jī)器學(xué)習(xí)引擎的想法，實(shí)際上，在AI研究圈子里已經(jīng)興起幾個(gè)月了。2月份，另一組研究人員就展示了大約80%準(zhǔn)確性的機(jī)器學(xué)習(xí)系統(tǒng)復(fù)制能力。即便在那個(gè)時(shí)候，他們就發(fā)現(xiàn)，通過在盜版系統(tǒng)上測試輸入，?？梢詫W(xué)到欺騙原版的方法。比如說，他們將該技術(shù)應(yīng)用到數(shù)字或道路標(biāo)識識別AI引擎上時(shí)，能讓該引擎對84%~96%的測試用例做出錯(cuò)誤判斷。
這最新的機(jī)器學(xué)習(xí)引擎復(fù)制研究能讓該欺騙手法更加簡單。而一旦機(jī)器學(xué)習(xí)被應(yīng)用于關(guān)鍵安全任務(wù)，比如自動(dòng)駕駛汽車或惡意軟件過濾，盜取并分析這些引擎的能力就會(huì)引發(fā)麻煩后果。無論是否黑箱，讓你的AI隱身都是明智的做法。
網(wǎng)頁名稱：如何利用逆向把人工智能盜走
URL地址：http://www.dlmjj.cn/article/cdhdsoc.html
