廣州熱線

9月20日，在剛剛結(jié)束的國家網(wǎng)絡(luò)安全宣傳周上，人工智能是熱門話題之一。人工智能在生產(chǎn)、生活中的運用越來越廣泛，它的安全性也越來越受到關(guān)注。國內(nèi)高校和企業(yè)發(fā)起一項特殊的比賽，參賽者比的是誰能夠更快、更有效地攻擊人工智能系統(tǒng)，通過這樣的“對抗攻擊”來提高人工智能的水平和安全性。

重慶的大學(xué)生劉野在本月結(jié)束的這次比賽中獲得第一名。他告訴中國之聲，每位參賽者會領(lǐng)到1000個圖像文件，他們需要編寫代碼，讓計算機自動修改圖像的像素點，讓AI（人工智能）無法識別出畫面上的人。誰編寫的代碼修改像素越少并且越能阻止人工智能識別，誰就勝出。劉野花了半個月時間完成比賽。

劉野：每張圖像的像素點有500×500，有25萬個。我修改了平均大約1200個，修改的像素點其實很少的。

這項“安全AI挑戰(zhàn)者計劃”由清華大學(xué)和阿里巴巴聯(lián)合開展，已經(jīng)完成第四期。參賽者們通過代碼修改像素形成的“對抗樣本”，肉眼看上去沒有什么變化，但足以影響人工智能的判斷。這個過程可以提前暴露人工智能的局限性。

阿里安全資深算法專家何源說：比如說一只狗的圖片，AI可以很容易推出這是一條狗的照片。但是對抗樣本的出現(xiàn)，讓AI它自身的局限性暴露出來，可以對狗的圖片做一些人眼不可察覺的改變，人眼還是看得出來這是一只狗，但是讓機器識別不出來它是狗，甚至我可以指定讓算法識別出它是一只貓。這是目前AI自身的一個安全局限性，我們舉辦比賽也主要就是關(guān)注到這一點。

主辦方介紹，這是全球第一個針對目標(biāo)檢測算法的對抗攻擊競賽。一旦比賽模擬的情況在現(xiàn)實生活中出現(xiàn)，人工智能真的受到攻擊，就可能有監(jiān)控攝像頭認不出畫面里的人、自動駕駛汽車識別不到前方障礙物等存在安全風(fēng)險的情形發(fā)生。

何源：首先我們要檢測這個攝像頭下面有沒有人，然后有人的話我還想識別出來這個人是誰。那么其實在目前的研究進展里面。比如說，我是可以通過一些類似于我在衣服上有目的地貼一個標(biāo)志，能夠讓檢測器檢測不到人，相當(dāng)于是我對安防系統(tǒng)的攻擊，讓它失效?；蛘呖梢栽谀樕献鲆恍┬薷?，比如戴上一種特殊的眼鏡或者什么的，讓AI系統(tǒng)識別不出來我是誰，或者是把我識別成另外一個人，這也是一種攻擊。

中國科學(xué)院院士、清華大學(xué)人工智能研究院院長張鈸表示，人工智能在機遇中也面臨諸多挑戰(zhàn)，當(dāng)前以深度學(xué)習(xí)為代表的人工智能算法在實際應(yīng)用中存在安全隱患，提升算法的安全性和可靠性，是未來的重要目標(biāo)之一，也是算法大規(guī)模部署和應(yīng)用的基礎(chǔ)。

主辦方介紹，“安全AI挑戰(zhàn)者計劃”已經(jīng)有來自全球200多所高校、100多個企業(yè)的6000多支隊伍參賽，除了像劉野這樣的學(xué)生，還有已經(jīng)參加工作的網(wǎng)絡(luò)安全愛好者，收到2000萬條惡意樣本，沉淀40多個具有前沿創(chuàng)新性的參賽源碼和方案，推動緩解人工智能安全人才缺口的問題。此前的三期比賽包括人臉識別對抗、辱罵場景文本對抗等等，針對證件文檔類圖像偽造的對抗攻擊競賽也已經(jīng)開始。劉野表示，希望比賽的積累可以幫助更好地改進人工智能的安全性。

劉野：有攻擊就有防御。我們的對抗攻擊變得更加強大，然后我們拿對抗樣本去訓(xùn)練AI，也能促使我們的防御更加強大。（總臺央廣記者白杰戈）