廣州熱線

作為人工智能技術(shù)的重要分支，圖像識(shí)別技術(shù)在眾多領(lǐng)域一直受到廣泛關(guān)注，然而不為人知是這項(xiàng)技術(shù)背后其實(shí)隱藏著一定的安全風(fēng)險(xiǎn)。日前，360安全研究院發(fā)布《AI安全風(fēng)險(xiǎn)白皮書(shū)》，白皮書(shū)中指便出360安全團(tuán)隊(duì)發(fā)現(xiàn)在圖像識(shí)別深度學(xué)習(xí)的數(shù)據(jù)處理流程中存在安全風(fēng)險(xiǎn)。攻擊者在不利用平臺(tái)軟件實(shí)現(xiàn)漏洞或機(jī)器學(xué)習(xí)模型弱點(diǎn)的情況下，只利用深度學(xué)習(xí)數(shù)據(jù)流中的處理問(wèn)題，就可以實(shí)現(xiàn)逃逸或數(shù)據(jù)污染攻擊。

相信許多人都聽(tīng)說(shuō)過(guò)，人工智能深度學(xué)習(xí)系統(tǒng)的核心是神經(jīng)元網(wǎng)絡(luò)。通常情況下，圖像識(shí)別深度學(xué)習(xí)使用的靜態(tài)神經(jīng)元網(wǎng)絡(luò)會(huì)假定自己的輸入是一個(gè)固定的維度。但是，實(shí)際情況卻是：實(shí)際的輸入并不一定與神經(jīng)元網(wǎng)絡(luò)模型輸入具有相同的維度。

圖1：通常情況下，原始圖片會(huì)經(jīng)過(guò)維度調(diào)整，深度學(xué)習(xí)系統(tǒng)才能識(shí)別其信息

要解決這一問(wèn)題的方法有兩種，一種是對(duì)輸入的維度進(jìn)行強(qiáng)行限制，另外一種方法是對(duì)輸入進(jìn)行維度調(diào)整。比如在圖像識(shí)別應(yīng)用中，深度學(xué)習(xí)系統(tǒng)會(huì)將大的輸入圖片進(jìn)行維度縮減，小的圖片進(jìn)行維度放大，采用的算法包括最近點(diǎn)抽取和雙線性插值等。這種處理的目的就是對(duì)圖片降維的同時(shí)盡量保持圖片原有的樣子，以確保深度學(xué)習(xí)系統(tǒng)做出正確的判斷。

但是，上述的情況非常理想化。在實(shí)際中，這些常用的降維算法并沒(méi)有考慮惡意構(gòu)造的輸入。也就是說(shuō)：攻擊者可以事先對(duì)輸入進(jìn)行特殊構(gòu)造處理。經(jīng)過(guò)處理后，降維函數(shù)會(huì)輸出異常的結(jié)果。

下面這組圖片就是攻擊者針對(duì)最常用的雙線性插值構(gòu)造的惡意攻擊樣本，雖然原始輸入是一張羊群的圖片，但是經(jīng)過(guò)降維處理后，圖像識(shí)別系統(tǒng)會(huì)將其誤判為一只雪地里的白狼；雖然原始輸入是一只卡通小羊，但圖像識(shí)別系統(tǒng)會(huì)將其誤判為一只可愛(ài)的小貓。

圖2：降維處理后，圖像識(shí)別系統(tǒng)可能輸出謬誤嚴(yán)重的結(jié)果

再比如下面這組實(shí)例，一些對(duì)于人來(lái)說(shuō)很清楚的數(shù)字，深度學(xué)習(xí)系統(tǒng)卻會(huì)誤判。下面顯示了了四組圖片，每一組中，左邊是對(duì)應(yīng)用的輸入，也就是人看到的圖片；右邊是人看不到，但是被機(jī)器學(xué)習(xí)模型最后處理的圖片。

圖3：降維算法可能讓深度學(xué)習(xí)系統(tǒng)出現(xiàn)嚴(yán)重誤判

根據(jù)360安全研究人員的分析：幾乎所有網(wǎng)上流行的深度學(xué)習(xí)圖片識(shí)別程序都有被降維攻擊的風(fēng)險(xiǎn)，解決方法包括對(duì)人工過(guò)濾異常圖片、人工對(duì)比識(shí)別結(jié)果，以及采用更為健壯的降維算法等。對(duì)此，白皮書(shū)特別強(qiáng)調(diào)：人工智能安全問(wèn)題不容忽視，360安全研究院希望公眾在擁抱人工智能熱潮的同時(shí)，也能持續(xù)關(guān)注深度學(xué)習(xí)系統(tǒng)中的安全問(wèn)題。