收藏本站
我的資料
  購物車 (0)  
親,您的購物車空空的喲~
去購物車結算
   
查看手機網站
其他帳號登錄: 注冊 登錄
北京元亨信科技有限責任公司

咨詢熱線

010-51994498

追求品質,追求卓越

THE PURSUIT OF EXCELLENCE

商城分類
  • 語音識別
  • 語意識別
  • 人臉識別
    識別儀
    攝像頭
    門禁
  • 圖像識別
    攝像頭
    存儲管理
  • AI算法產品
  • 智能機器人成品
  • 智能設備
  • 綜合
  • 智慧工廠
  • 智慧城市
  • 激光掃描
  • 移動推廣
  • 大數據
    數據庫
    服務器
    云計算
    云存儲

OpenAI等機構發布《人工智能惡意使用》報告,利用AI來犯罪只是時間問題

來源:雷鋒網 

api_thumb_450 (75).jpg

所謂有人在的地方就有江湖,人工智能作為一項技術,就像人類歷史中所有的新技術一樣具有兩面性,有人拿它為全人類謀福利,也有人拿它做惡意活動。近年來,人工智能和機器學習的表現正以前所未有的速度提升,相應的技術要么已經被應用到日常生活中(例如機器翻譯、醫學影像分析等),要么正投入大量人力、物力進行研發(例如無人駕駛)。但是相比著應用的火熱發展,一直以來人們卻對人工智能技術的惡意使用缺乏足夠的關注。

2017年 2月,牛津大學召開了一次為期兩天的研討會。在這次研討會上,來自人工智能、無人機、網絡安全、自主武器系統、反恐等各領域的眾多專家匯聚一堂,藉著各自領域的經驗和知識,共同探究了伴隨著人工智能的發展可能帶來的安全問題。

隨后沿著這次研討的思路,眾多學者又工作了近一年的時間。雷鋒網注意到,在本周二,來自 OpenAI 、人類未來研究所、牛津大學、劍橋大學等機構和高校的共 26名學者在 arXiv上發表了他們的研究成果報告《人工智能的惡意使用:預測、預防和緩解》(The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation)。

在準備閱讀 101頁的報告內容之前,我們不妨先來看下報告的兩位通訊作者 MilesBrundage和 Shahar Avin合寫發表在 wired的一篇淺顯的介紹文章《利用AI來犯罪只是時間問題 》(It's only a matter of time before criminals turn AIs against us)。作者認為,人工智能研究人員在開發新應用程序時需要考慮安全因素;如果他們不這樣做,罪犯就會利用這項技術來做惡意活動。

利用AI來犯罪只是時間問題

有一天你接到一個陌生電話 -一聽原來是你女兒打來的,聲音顯得很恐慌而且語無倫次。她在旅行,丟了手機和錢包,她需要幫助,需要你給她寄些錢。你可能不是一個容易受騙的人,但這就是她的聲音。

通過合成語音且能多輪對話的詐騙技術可能還沒有出現,但是現在全球范圍內已經有一千多個家長收到了他們自己的個性化電子郵件和語音郵件。犯罪分子利用算法抓取了社交媒體上的視頻和照片,并創建了針對性很強的定制消息,甚至合成受騙者親人朋友的聲音。這些都是使用人工智能以最低的人力成本完成的。

人工智能最近取得了重大進展,但不幸的是這也使得上述情景變得越來越合理。正如這篇報告所指出的人工智能技術是「雙重用途」,雖然它將以多種方式使社會受益,但它也將會被惡意使用。犯罪分子、恐怖分子和流氓國家將利用這些強大的工具來危害人們的日常生活。因此我們必須要更加系統地去探索如何預測、預防和緩解這些惡意用途的方法。

其實,人工智能的惡意使用不僅僅是威脅到人們的財產和隱私——可能更令人擔憂的是,它會威脅到人們的生命。無人機和其他網絡物理系統(如自動駕駛車輛和智能醫療設備)的激增為恐怖分子、黑客和罪犯提供了非常誘人的目標和工具??赡艿那闆r包括利用自動駕駛汽車制造車禍,或將便宜的商業無人機改造成面部識別導彈。

另一方面,人工智能也可能會影響政治安全。最近美國特別顧問羅伯特·穆勒的起訴書就指稱,俄羅斯有一個80多人的全職專業團隊破壞2016年美國總統選舉。

當專業的網絡釣魚能發布廉價、高度可信的虛假視頻時會發生什么?現在已經有工具可以從原始音頻文件中創建假視頻,也有一些工具可以讓我們合成聽起來像某個人的假音頻。將兩者結合起來,就可以創建完全虛假的新聞視頻。如果他們能夠使用基于「強化學習」和其他 AI方法的技術來控制一大批半自主機器人程序會發生什么?如果他們能夠通過廉價的個性化宣傳精確地針對目標人群,又會發生什么?那么可能一個 8人的釣魚團隊充分利用人工智能將能夠發揮 8000人的水平。

面對這些新興的風險,我們并不是無可奈何的,但我們需要承認這些風險的嚴重性并采取相應的行動。這需要決策者與技術研究人員密切合作,調查、預防和緩解人工智能的潛在惡意用途。

當涉及到人工智能的道德影響時,AI研究人員和公司已經在思考和承擔相應的責任。已經有成千上萬的人簽署了一封要求強健、有益的人工智能的公開信。AI公司也正在通過人工智能合作伙伴關系(Partnership on AI)開展合作。此外,也逐漸地出現了一些道德標準,例如 Asilomar AI Principles和 IEEE Ethically Aligned Design。這種責任文化在安全方面顯然需要繼續下去并得以深化,而不僅僅是現在占據主要篇幅的無意傷害問題(例如安全事故和偏見)。

人工智能研究人員和雇用他們的組織處于塑造新興安全領域的獨特位置。這需要他們去探索一系列解決方案,可能這些方案會讓當今的學術文化圈感到不舒服 ,比如推遲某些技術的出版,以便開發相應的防御措施,這在網絡安全領域更為常見。

當然,我們需要考慮一些更為棘手的問題:什么樣的人工智能研究更容易被惡意利用?需要開發哪些新技術來更好地抵御可能的攻擊?哪些機構和機制可以幫助我們在最大限度地利用人工智能的好處與最大限度地降低安全風險之間取得適當的平衡?也許我們越早解決這些問題,上面的電話欺騙場景就越不可能成為現實。

報告內容提要

報告《人工智能的惡意使用:預測、預防和緩解》調查了惡意使用人工智能技術可能帶來的安全威脅,并提出了更好的預測、預防和緩解這些威脅的方法。報告中詳細分析了 AI可能在數字安全、物理安全、政治安全等方面帶來的威脅,隨后還為 AI研究人員和其他利益相關者提出了四項高層次的建議。此外,在報告中還提出了幾個有發展前景的領域,以便進一步的研究,從而能擴大防御的范圍或者使攻擊效率降低/更難執行。在報告的最后,作者還分析了攻擊者和防御者之間的長期平衡問題,不過并沒有明確地解決這個問題。

作者在報告中,不無擔憂地說:如果沒有制定出足夠的防御措施,我們可能很快就會看到究竟哪類攻擊會先出現了。

下面我們將給出這篇報告的內容提要。

AI安全格局

隨著AI性能變得越來越強大和廣泛,我們預計越來越多 AI系統的使用將會導致以下安全格局的變化:

  • 擴大現有安全威脅。通過可擴展地使用AI系統來完成通常需要人力、智力和專業知識的任務,攻擊的成本會大大的降低。一個自然的結果就是擴大了能夠進行特定攻擊的人群范圍,提升了執行這些攻擊的速度,增加了可攻擊的潛在目標。

  • 引入新的安全威脅。通過使用 AI系統,新的安全攻擊可以完成對人類攻擊者來說不可能完成的任務。另外,安全維護人員開發的 AI系統漏洞也會給惡意攻擊者帶來新的可乘之機。

  • 改變安全威脅的典型特征。我們有理由認為伴隨著AI應用的快速發展,安全攻擊將會高效、有針對性、難于歸因且難以防守,這將在很大程度上改變傳統網絡安全的典型特征。

三個安全領域

報告中詳細分析了三個安全領域(數字安全、物理安全和政治安全),并通過一些代表性的例子說明了在這些領域中可能發生的安全威脅變化。

數字安全。傳統的網絡攻擊任務中,攻擊規模和攻擊效率之間往往不能兩全,使用AI來執行這些任務將很大程度上消除現有的折衷,這將擴大與勞動密集型網絡攻擊(如魚叉式網絡釣魚)相關的威脅。此外還會出現利用人類弱點(例如通過使用語音合成進行冒充)、現有軟件漏洞(例如通過自動黑客攻擊)或 AI系統的漏洞(例如通過對抗性樣本和數據下毒)等的新型安全攻擊。

(ImageNet基準測試圖像識別的最新進展。圖表(2017年8月25日檢索)來自電子前沿基金會的 AI Progress Measurement項目)

(GANs合成人臉,圖片分別來自 Goodfellow et al. (2014), Radford et al. (2015), Liu and Tuzel (2016), and Karras et al. (2017)等論文)

  • 物理安全。使用 AI來自動執行與無人機或其他物理系統(例如部署自主武器系統)攻擊有關的任務,這將會擴大與這些攻擊相關的威脅。此外,使用 AI也可能會導致出現新型的攻擊,包括破壞網絡物理系統(例如導致自動駕駛車輛崩潰)、遠程入侵物理系統(例如使用成千上萬的微型無人機)。

  • 政治安全。使用 AI來自動化監測(例如分析大量收集的數據)、說服(例如創建有針對性的宣傳)、欺騙(例如修改視頻),可能會擴大與侵犯隱私和操縱社交相關的威脅。此外,新型的攻擊可能利用AI逐漸提升的能力,在現有數據的基礎上分析人類的行為、情緒、信仰等,這些將會對專制國家帶來很大的威脅,但不可否認也將威脅民主國家(例如能否維持公開辯論的真實性)。

四項高層次建議

針對不斷變化的威脅環境,我們提出了四項高層次的建議:

  • 密切合作。決策者應與技術研究人員密切合作,調查、預防和緩解人工智能的潛在惡意用途。

  • 認真對待。人工智能領域的研究人員和工程師應認真對待他們工作的雙重用途,在研究和開發中允許誤用相關考慮因素能影響研究/開發的重點和規范,并在有害應用可預見時主動與相關行為者接觸。

  • 制定方案。應在研究領域用更多成熟的方案來確定最佳實踐方法來解決雙重用途問題(像解決計算機安全一樣)以及哪些地方能夠應用 AI。

  • 擴大討論范圍。積極尋求擴大參與討論這些挑戰的利益相關者和領域專家的范圍。

探索未決問題和潛在干預措施

除了上面列出的高層次建議之外,我們還建議在四個優先研究領域探索幾個未決問題和潛在干預措施:

  • 與網絡安全社區共同學習。在網絡安全和人工智能攻擊的交叉領域,我們強調需要探索并潛在實施紅客聯盟(red teaming)、形式化驗證、AI漏洞負責任的披露、安全工具和安全硬件。

  • 探索不同的開放模式。隨著 AI和 ML的雙重用途性質變得越來越明顯,我們強調有必要圍繞研究的開放性重新設計規范和制度,首要進行的包括特別關注的技術領域預印本風險評估、中心訪問許可模式、有利于安全和保障措施的共享制度以及其他雙重用途技術的相關經驗。

(隨著開放內容的增加,使用 AI的技能要求越來越低)

  • 促進責任文化。人工智能研究人員和雇用他們的組織處于一種獨特的位置,他們將塑造人工智能世界的安全格局。我們強調教育、道德聲明和標準、框架、規范和期望的重要性。

  • 發展技術和政策解決方案。除了上述內容,我們還調查了一系列有前景的技術以及政策干預措施,這些技術可以幫助我們建立一個更安全的 AI未來。進一步的高級領域的研究包括隱私保護、AI公共安全的協調使用、AI相關資源的監管以及其他的立法和監管響應。

提議的干預措施不僅需要人工智能研究人員和公司關注和采取行動,還需要立法人員、公務人員、監管機構、安全研究人員和教育工作者對此的關注以及行動。挑戰是艱巨的,風險是高昂的。

文中彩蛋

今天早上,報告作者 Miles Brundage?教授發推文說——

Miles Brundage?:就不信有人能發現《AI惡意使用報告》中的彩蛋;誰發現,我就給誰買一杯咖啡,或者發一個魚叉釣魚郵件,你自己選擇吧~

Abhishek:有暗示嗎?

Miles:有,兩個。

Brubbo:難道是隱藏了一張對抗圖像?

Miles:猜的好,不過不是。

Rob:你不會讓我花一星期時間里重讀這101頁報告吧?/(ㄒoㄒ)/~~

Miles:把報告再讀一遍也值一杯咖啡。:)

然而聰明、細心、又具挑戰精神的人從來都不缺。不到六個小時,就有人從101頁的報告中找出了Miles教授說的神神秘秘的彩蛋。

雷鋒網()注:Miles Brundage和 Shahar Avin是本報告的兩個主要作者,分別來自牛津大學人類未來研究所和劍橋大學存在風險研究中心;Murray為倫敦皇家理工學院教授,并擔任 DeepMind的高級研究科學家。P27和 P28頁為報告中針對物理安全和政治安全假象的兩個安全威脅案例。

報告目錄:

00.內容提要

01.引言

研究范圍

相關文獻

02. AI和安全威脅的總體框架

AI的性能

AI安全相關特性

總體影響

三種情景

  • 數字安全

  • 物理安全

  • 政治安全

03.安全領域

數字安全

物理安全

政治安全

04.干預

建議

進一步研究的優先領域

05.策略分析

影響 AI與安全均衡的因素

總體評估

06.結論

感謝

參考文獻

附錄A:研討會細節

附錄B:未來研究的一些問題

- END -


會員登錄
登錄
其他帳號登錄:
我的資料
我的收藏
購物車
0
留言
回到頂部