人工智能是 21 世紀(jì)最重要的科學(xué)技術(shù)之一。從日常生活到工業(yè)制造再到科學(xué)研究，人工智能可以協(xié)助人類進(jìn)行決策，代替耗時(shí)費(fèi)力的重復(fù)性勞動(dòng)，在大幅提升生產(chǎn)力的同時(shí)，加速推進(jìn)產(chǎn)業(yè)結(jié)構(gòu)升級(jí)變革。然而，人工智能的發(fā)展并不是一帆風(fēng)順的，從 1956 年達(dá)特茅斯會(huì)議提出 “人工智能” 概念至今，經(jīng)歷了起起伏伏，但人們追求 “通用人工智能” 的愿望從未停止。近年來(lái)，隨著深度神經(jīng)網(wǎng)絡(luò)的提出、大規(guī)模數(shù)據(jù)集的構(gòu)建和計(jì)算硬件的升級(jí)，數(shù)據(jù)、算法、算力三要素齊備，人工智能進(jìn)入飛速發(fā)展階段。我們現(xiàn)在可以訓(xùn)練包含十億、百億甚至千億參數(shù)的人工智能大模型，這些大模型已經(jīng)具備很強(qiáng)的能力，初見(jiàn)通用人工智能的端倪。如今，人工智能模型已經(jīng)在交通、醫(yī)療、教育、金融、安防等領(lǐng)域廣泛部署應(yīng)用。
我們?cè)趽肀�人工智能的同時(shí)，需要充分重視其帶來(lái)的安全問(wèn)題。想要了解人工智能模型的安全問(wèn)題，則須充分掌握其工作原理。自從深度神經(jīng)網(wǎng)絡(luò)被提出以來(lái)，科研人員就針對(duì)其工作原理和性質(zhì)開(kāi)展了大量的研究，幾乎每發(fā)現(xiàn)一個(gè)特性就會(huì)引發(fā)一系列新的安全問(wèn)題。例如，2013 年發(fā)現(xiàn)的 “對(duì)抗脆弱性” 引發(fā)了各種各樣的針對(duì)深度神經(jīng)網(wǎng)絡(luò)模型的對(duì)抗攻擊；2017 年發(fā)現(xiàn)的 “后門脆弱性” 引發(fā)了大量的數(shù)據(jù)投毒和后門攻擊；深度神經(jīng)網(wǎng)絡(luò)的“記憶特性” 引發(fā)了對(duì)其隱私的攻擊，包括數(shù)據(jù)竊取攻擊和成員推理攻擊等；而其對(duì)個(gè)別樣本的 “敏感性” 和功能 “可萃取性” 則讓模型竊取攻擊成為可能。研究攻擊是為了更好地防御。我們可以借助不同的攻擊算法來(lái)對(duì)模型進(jìn)行系統(tǒng)全面的安全性評(píng)測(cè)，從不同維度揭示其脆弱性邊界，了解其在實(shí)際應(yīng)用中可能存在的安全問(wèn)題。基于這些分析，我們可以設(shè)計(jì)更高效的防御方法，提升模型在實(shí)際應(yīng)用過(guò)程中的魯棒性和安全性。這對(duì)大模型來(lái)說(shuō)尤其重要，因?yàn)榇竽Ｐ退�服�?wù)的用戶群體更廣，其安全問(wèn)題往往會(huì)引發(fā)大范圍的負(fù)面影響。例如，一旦自動(dòng)駕駛系統(tǒng)存在安全隱患，則可能會(huì)威脅駕駛員、乘客和行人的生命安全。
當(dāng)前，人工智能發(fā)展迅猛，新技術(shù)層出不窮，算法與模型日新月異，其安全問(wèn)題也是如此。正是在這樣的背景下，我們將近年來(lái)在研究過(guò)程中所積累的人工智能安全方面的知識(shí)歸納整理成此書(shū)，系統(tǒng)地呈現(xiàn)給讀者。希望此書(shū)能夠在一定程度上彌補(bǔ)在此方向上國(guó)內(nèi)外教材的空白，為通用人工智能的到來(lái)做好準(zhǔn)備，以保障其健康發(fā)展。
數(shù)據(jù)和模型是人工智能的兩大核心要素。其中，數(shù)據(jù)承載了知識(shí)的原始形式，大規(guī)模數(shù)據(jù)集的采集、清洗和標(biāo)注過(guò)程極其煩瑣，需要大量的人力物力；模型則承載了從數(shù)據(jù)中學(xué)習(xí)得到的知識(shí)，其訓(xùn)練過(guò)程往往耗資巨大。高昂的價(jià)值和其背后的經(jīng)濟(jì)利益使數(shù)據(jù)和模型成為攻擊者最為關(guān)注的攻擊目標(biāo)。正因如此，領(lǐng)域內(nèi)大量的研究工作都是圍繞數(shù)據(jù)和模型展開(kāi)的。因此，本書(shū)聚焦人工智能領(lǐng)域中的數(shù)據(jù)和模型安全。人工智能安全的概念是廣泛的，包括內(nèi)生安全、衍生安全和助力安全等，本書(shū)的大部分內(nèi)容屬于內(nèi)生安全。
本書(shū)的章節(jié)組織如下。第 1 章簡(jiǎn)要回顧了人工智能的發(fā)展歷程；第 2 章介紹了機(jī)器學(xué)習(xí)的基礎(chǔ)知識(shí)；第 3 章介紹了人工智能安全相關(guān)的基本概念、威脅模型和攻擊與防御類型；第 4 章聚焦數(shù)據(jù)安全方面的攻擊；第 5 章聚焦數(shù)據(jù)安全方面的防御；第 6 ～ 10 章分別聚焦模型安全方面的對(duì)抗攻擊、對(duì)抗防御、后門攻擊、后門防御以及竊取攻防；第 11 章展望了未來(lái)攻擊和防御的發(fā)展趨勢(shì)并強(qiáng)調(diào)了構(gòu)建系統(tǒng)性防御的緊迫性。
本書(shū)適合人工智能、智能科學(xué)與技術(shù)、計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、信息安全等專業(yè)的高年級(jí)本科生、研究生以及人工智能從業(yè)者閱讀。本書(shū)中的部分技術(shù)細(xì)節(jié)需要讀者具備一定的機(jī)器學(xué)習(xí)基礎(chǔ)。此外，本書(shū)大部分的方法介紹都圍繞圖像分類任務(wù)展開(kāi)，需要讀者具備一定的計(jì)算機(jī)視覺(jué)基礎(chǔ)。本書(shū)使用的示例圖和框架圖在盡量尊重原論文的基礎(chǔ)上進(jìn)行了一定的優(yōu)化，如有不當(dāng)之處，請(qǐng)聯(lián)系我們更正。
感謝復(fù)旦大學(xué)的同學(xué)在本書(shū)的編寫(xiě)和校稿過(guò)程中提供的幫助，他們包括陳紹祥、宋雪、王錚、傅宇倩、魏志鵬、陳凱、趙世豪、呂熠強(qiáng)、訾柏嘉、錢天文、張星、常明昊、翁澤佳、王君可、翟坤、王欣、阮子禪、張超、林朝坤等。此外，感謝黃瀚珣博士和李一戈博士在此書(shū)寫(xiě)作過(guò)程中參與了討論。
由于作者水平有限，書(shū)中內(nèi)容難免會(huì)存在不足，歡迎各位讀者提出寶貴的意見(jiàn)和建議。