阿里聯(lián)手中科大浙大華科大等高校研發(fā)4項(xiàng)AI安全技術(shù)獲國際會(huì)議收錄這意味著什么

原標(biāo)題：阿里聯(lián)手中科大、浙大、華科大等高校研發(fā)4項(xiàng)AI安全技術(shù)獲國際會(huì)議收錄

【tianxianmao.com】2月23日消息，tianxianmao.com獲悉，阿里安全圖靈實(shí)驗(yàn)室圍繞行業(yè)痛點(diǎn)、難點(diǎn)技術(shù)問題，涉及文本變異對(duì)抗、圖像、視頻內(nèi)容風(fēng)控以及AI小樣本研究的4個(gè)團(tuán)隊(duì)，分別與中國科學(xué)技術(shù)大學(xué)、浙江大學(xué)、華中科技大學(xué)等知名高校研究人員合作，研發(fā)包括“內(nèi)容安全、文本反垃圾、AI模型魯棒性、營商環(huán)境治理”4項(xiàng)新一代安全架構(gòu)核心AI安全技術(shù)成果，均被國際會(huì)議ICASSP（InternationalConferenceonAcoustics,SpeechandSignalProcessing）2021收錄。

小樣本練習(xí)對(duì)抗血腥暴力視頻

在實(shí)際應(yīng)用場景中，AI安全技術(shù)能有效解決數(shù)據(jù)量大的頭部風(fēng)險(xiǎn)，但對(duì)數(shù)據(jù)量極少或者新增的風(fēng)險(xiǎn)，現(xiàn)有AI模型往往難以勝任。

在2021年“掃黃打非”專項(xiàng)整治中，就出現(xiàn)了一波名為“邪典”的風(fēng)險(xiǎn)（軟色情、血腥暴力），主要為一些對(duì)青少年有不良導(dǎo)向的視頻，此類相關(guān)內(nèi)容清理有害信息就多達(dá)37萬余條。隨著短視頻火爆發(fā)展，變異極快的“兒童邪典視頻”極易死灰復(fù)燃。

累積此類別的數(shù)據(jù)供原有模型練習(xí)需要一定時(shí)間，而小樣本方法恰好能填補(bǔ)“變異-模型未更新”的真空期。阿里安全圖靈實(shí)驗(yàn)室高級(jí)算法工程師雍秦認(rèn)為，使用小樣本方法，可很好地在真空期中覆蓋這種新風(fēng)險(xiǎn)，維護(hù)網(wǎng)絡(luò)清朗空間環(huán)境。

“之前發(fā)表的小樣本方法大都集中于優(yōu)化小樣本元學(xué)習(xí)階段，該研究主要集中研究小樣本方法中的預(yù)練習(xí)問題，我們AI安全團(tuán)隊(duì)提出了一種簡單有效的方法，使用自監(jiān)督方法預(yù)練習(xí)一個(gè)更深的網(wǎng)絡(luò)，具有很好的魯棒性和泛化性。”雍秦說。

自監(jiān)督學(xué)習(xí)的核心理念是對(duì)無標(biāo)簽數(shù)據(jù)的進(jìn)行學(xué)習(xí)，而且學(xué)習(xí)的是無標(biāo)簽數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)或者特性，因此不需要標(biāo)簽結(jié)果，這樣打造的AI模型對(duì)新鮮樣本的適應(yīng)能力比較強(qiáng)。

在醫(yī)療、生物等行業(yè)安全領(lǐng)域，都普遍存在“樣本標(biāo)注困難”“成本高”問題。雍秦堅(jiān)信，小樣本自監(jiān)督學(xué)習(xí)能很好改善這些困境。

阿里&浙大：增強(qiáng)AI對(duì)抗垃圾文本變異的穩(wěn)定性和識(shí)別力

李進(jìn)鋒等阿里安全算法專家經(jīng)常會(huì)碰到發(fā)送大量垃圾文本的惡意用戶，黑灰產(chǎn)試圖通過對(duì)抗的手段規(guī)避阿里安全內(nèi)容風(fēng)控智能AI系統(tǒng)檢測。

以文本內(nèi)容為例，惡意用戶可通過對(duì)文本中的違規(guī)內(nèi)容進(jìn)行變形變異，從而達(dá)到繞開模型識(shí)別檢測的目的。由于文本對(duì)抗門檻和成本低，文本內(nèi)容風(fēng)控場景中的對(duì)抗異常激烈，對(duì)抗給智能風(fēng)控體系帶來了巨大挑戰(zhàn)。

圖:真實(shí)應(yīng)用場景中的對(duì)抗文本（紅色字體為變異詞）

為應(yīng)對(duì)挑戰(zhàn)，解決對(duì)抗場景中風(fēng)控模型性能衰減的問題，阿里安全圖靈實(shí)驗(yàn)室與浙江大學(xué)提出了基于對(duì)抗關(guān)系圖的文本對(duì)抗防御技術(shù)。

圖:基于對(duì)抗關(guān)系圖的文本對(duì)抗防御框架

與現(xiàn)有技術(shù)相比，阿里安全的內(nèi)容風(fēng)控系統(tǒng)建模與場景無關(guān)，只需練習(xí)一次即可應(yīng)用到各個(gè)場景，基于對(duì)抗關(guān)系圖，就可以解決更復(fù)雜的多跳變異問題，如微(wei)-威(wei)-崴(wai)。阿里安全團(tuán)隊(duì)將防御框架應(yīng)用到了手機(jī)淘寶、旺旺反垃圾場景，取得了不錯(cuò)的應(yīng)用效果。

中科大&阿里：構(gòu)建AI系統(tǒng)“防火墻”

去年，阿里安全圖靈實(shí)驗(yàn)室發(fā)布了一款“AI安全診斷大師”，對(duì)AI模型進(jìn)行全面的安全性評(píng)估，并針對(duì)AI系統(tǒng)的缺陷，提出提升模型防御能力建議。

這種“AI安全防火墻”的一個(gè) 關(guān)鍵技術(shù)就是對(duì)抗樣本檢測，對(duì)抗樣本的重要特性之一是人眼無法區(qū)分，導(dǎo)致無法通過人工打標(biāo)進(jìn)行對(duì)抗樣本的檢測。

2020年，阿里安全圖靈實(shí)驗(yàn)室提出了一種基于Transformer的對(duì)抗樣本檢測方法，改進(jìn)了傳統(tǒng)對(duì)抗樣本檢測方法只能檢測特定攻擊，難以泛化到其他攻擊的缺陷。

此次研究解決的是對(duì)抗樣本檢測泛化性的問題，但針對(duì)非常小擾動(dòng)和非常稀疏的對(duì)抗樣本的檢測，仍是目前研究的難點(diǎn)。為了既能識(shí)別擾動(dòng)大而廣的對(duì)抗樣本，又能識(shí)別擾動(dòng)比較小而稀疏的對(duì)抗樣本，中科大和阿里的研究者提出了基于圖像域和梯度域的雙流對(duì)抗樣本檢測網(wǎng)絡(luò)，圖像域用于識(shí)別擾動(dòng)大而廣的對(duì)抗樣本，梯度域則用于識(shí)別擾動(dòng)比較小而稀疏的對(duì)抗樣本。

圖.雙流對(duì)抗樣本檢測網(wǎng)絡(luò)

隨著防御技術(shù)不斷變強(qiáng)，攻擊形態(tài)越來越多樣。在真實(shí)應(yīng)用場景中，阿里安全圖靈實(shí)驗(yàn)室也發(fā)現(xiàn)了一些沒有限制情況下的攻擊形態(tài)，這類攻擊很難應(yīng)對(duì)。阿里安全圖靈實(shí)驗(yàn)室高級(jí)安全專家越豐介紹，目前阿里希望能從攻防兩端以及產(chǎn)學(xué)研集合的方式來應(yīng)對(duì)這種威脅。阿里安全聯(lián)合清華大學(xué)、UIUC（伊利諾伊大學(xué)厄巴納-香檳分校）舉辦了CVPR2021的AML-CVworkshop,產(chǎn)學(xué)研結(jié)合探討AI安全的問題。另外，三方在workshop上聯(lián)合天池一起舉辦了2個(gè)比賽：第六期-ImageNet無限制對(duì)抗攻擊和防御模型的白盒對(duì)抗攻擊。

提升商品圖像檢索能力優(yōu)化用戶搜索體驗(yàn)

電商平臺(tái)的各種模態(tài)商品數(shù)據(jù)迅速增長，如何從中快速且正確地找出用戶需要的商品是一個(gè)艱巨的挑戰(zhàn)。基于內(nèi)容的文本到商品圖像的跨模態(tài)檢索就是緩解這個(gè)挑戰(zhàn)的 關(guān)鍵技術(shù)之一。

傳統(tǒng)的跨模態(tài)檢索方法建立在單層次的特征表示和單粒度的相似度度量上，難以有效地解決商品圖像檢索的問題。

同時(shí)，文本到商品圖像的跨模態(tài)檢索任務(wù)更復(fù)雜，比如單是商品圖像中的一類“服飾”已經(jīng)表現(xiàn)出巨大的差異性，服飾可以穿在模特身上，也可以單獨(dú)擺放，還可折疊起來展示，服飾圖像背景往往也很復(fù)雜。不止如此，商品圖像包含其它很多豐富的種類，并且一幅圖像內(nèi)往往呈現(xiàn)出多種物體，琳瑯滿目，難辨差異。

在阿里安全圖靈實(shí)驗(yàn)室實(shí)習(xí)的浙江大學(xué)碩士生馬哲介紹，這次研究在文本-商品圖像跨模態(tài)檢索的場景下，提出了HSL網(wǎng)絡(luò)和兩種不同粒度的相似性度量方式，可顯著提升商品圖像檢索的性能，并能適應(yīng)復(fù)雜的商品內(nèi)容檢索。

阿里安全圖靈實(shí)驗(yàn)室資深算法專家華棠強(qiáng)調(diào)，這種新研究不僅致力于提升用戶搜索體驗(yàn)，也會(huì)用在平臺(tái)內(nèi)容治理上，謹(jǐn)防黑灰產(chǎn)利用看似合規(guī)的商品圖片宣傳“禁限售”類商品。

“我們希望通過新一代安全架構(gòu)核心AI技術(shù)來守護(hù)網(wǎng)絡(luò)內(nèi)容安全，凈化網(wǎng)絡(luò)環(huán)境，也通過AI來保護(hù)數(shù)字資產(chǎn)的知識(shí)產(chǎn)權(quán)，優(yōu)化營商環(huán)境。同時(shí)也致力于通過AI來防范黑灰產(chǎn)的對(duì)抗行為，盡很大努力為商家和用戶打造更好的互聯(lián)網(wǎng)平臺(tái)。”華棠說。