315實(shí)測(cè)｜AI新型詐騙頻發(fā)，如何用AI工具解套防詐

簡(jiǎn)小軍

在 Sora、Claude 3 將人工智能推向新高峰時(shí)，人工智能的觸手也被拿來伸向黑暗。
澎湃新聞對(duì)齊 Lab 梳理近期 AI 新型詐騙典型案例后發(fā)現(xiàn)：當(dāng)下利用 AI 技術(shù)的詐騙手段呈現(xiàn)出門檻更低，效果更逼真的趨勢(shì)，讓人更加防不勝防。
面對(duì) AI 新型騙局的各類場(chǎng)景，我們應(yīng)該如何提高防范意識(shí)和應(yīng)對(duì)能力？
AI 換臉視頻：三招解套防詐騙
2023 年 6 月 10 日，國(guó)家反詐中心辟謠“AI 詐騙在全國(guó)爆發(fā)”，確認(rèn)全國(guó) AI 詐騙實(shí)施不超過 10 起，主要是提前制作了換臉視頻，并不是實(shí)時(shí)的視頻互動(dòng)通話。而新近的案例中，我們發(fā)現(xiàn)在視頻通話中利用 AI 換臉的案件數(shù)量逐漸變多。
AI 實(shí)時(shí)換臉的方式是利用人臉識(shí)別模型和攝像頭來獲取人臉的關(guān)鍵特征點(diǎn)。這些特征點(diǎn)被用來在視頻中跟蹤人臉輪廓、眼睛、眉毛等區(qū)域的位置。
理論上，面部特征點(diǎn)越多，AI 換臉的效果越好。因而，為了打造一個(gè)逼真的 AI 換臉騙局，犯罪分子通常會(huì)廣泛搜集與被害人有關(guān)親友的視頻、照片等作為換臉?biāo)夭摹?br /> 北京朝陽法院指出，詐騙分子會(huì)利用 AI 技術(shù)對(duì)所要施行詐騙的人群進(jìn)行篩選并生成定制化詐騙腳本。例如，在實(shí)施情感詐騙時(shí)，會(huì)篩選出經(jīng)常發(fā)布情感信息的人；在實(shí)施金融詐騙時(shí)，會(huì)篩選出經(jīng)常關(guān)注理財(cái)投資的人群。
在實(shí)際應(yīng)用中，為了平衡網(wǎng)絡(luò)延遲、生成效果等多種因素，人臉特征的提取上只會(huì)保留最具有代表性的特征點(diǎn)。當(dāng)這些最具有代表性的人臉特征點(diǎn)被遮擋或者數(shù)量減半時(shí)（側(cè)臉），AI 換臉就容易出現(xiàn)崩壞的情況。
論文 Joint Multi-view Face Alignment in the Wild 展現(xiàn)了人臉識(shí)別模型在不同人臉截面的特征點(diǎn)識(shí)別效果。從圖中可以看到，正臉特征點(diǎn)的識(shí)別效果遠(yuǎn)比側(cè)臉要好。


這可以成為我們破解 AI 換臉的辦法之一。metaphysic.ai 的一項(xiàng)研究指出，在視頻通話等實(shí)時(shí)視頻場(chǎng)景中，AI 換臉效果會(huì)因?yàn)槊娌空趽趸騻?cè)臉轉(zhuǎn)向而大打折扣。
測(cè)試者使用 AI 工具將自己的臉換成歐美明星。在用手遮擋面部后，AI 換臉出現(xiàn)了扭曲和面部波動(dòng)的情況。在人臉側(cè)向攝像頭 90°時(shí)，AI 換臉在輪廓和人臉細(xì)節(jié)上出現(xiàn)了不同程度的崩壞和錯(cuò)亂。圖片來源：metaphysic.ai


對(duì)于青睞“劃算又高效”、采取“廣撒網(wǎng)”策略的犯罪分子而言，進(jìn)一步通過優(yōu)化算法模型、增加更多訓(xùn)練圖像等方式優(yōu)化 AI 換臉效果的考慮較少。因而，當(dāng)我們遇到存疑的視頻通話時(shí)，可以要求對(duì)方做一些面部運(yùn)動(dòng)，例如側(cè)臉轉(zhuǎn)向、進(jìn)行面部遮擋、捏鼻子等，來辨識(shí) AI 換臉的可能性。
除了 AI 換臉視頻通話，AI 換臉視頻還被很多營(yíng)銷號(hào)用來導(dǎo)流、帶貨。為了抓住流量密碼，許多營(yíng)銷號(hào)不惜侵犯?jìng)€(gè)人肖像權(quán)。
目前，一些社交平臺(tái)已經(jīng)對(duì)這類 AI 換臉賬號(hào)采取了封禁，但在短視頻平臺(tái)依舊能刷到類似的 AI 生成內(nèi)容。圖片來源：新浪熱點(diǎn)


最近一兩個(gè)月，許多人都能在短視頻平臺(tái)頻繁刷到這位俄羅斯博主的視頻。這些短視頻有著統(tǒng)一的故事腳本，包括熱愛中國(guó)文化，想嫁給中國(guó)男人等，并希望看視頻的人能夠買一點(diǎn)俄羅斯特產(chǎn)。這些在全網(wǎng)傳播的短視頻，均是由營(yíng)銷號(hào)通過 AI 換臉制作而成。人臉盜用自烏克蘭網(wǎng)紅奧爾嘉（Olga Loiek）。
如何鑒別真假難辨的 AI 換臉短視頻？我們可以借助 Deepware 這類 AI 視頻識(shí)別工具。這類工具會(huì)在上傳視頻后，對(duì)視頻中存在 AI 生成或換臉內(nèi)容進(jìn)行分析，并給出識(shí)別報(bào)告。上圖左側(cè)是對(duì)早期 AI 換臉視頻的識(shí)別結(jié)果，右側(cè)是對(duì)近期俄羅斯 AI 網(wǎng)紅的識(shí)別結(jié)果。在 AI 換臉技術(shù)不斷迭代的今天，識(shí)別 AI 換臉的技術(shù)也急需更新?lián)Q代。
除了使用 AI 視頻鑒定工具外，還可以留意短視頻平臺(tái)對(duì)于 AI 內(nèi)容的標(biāo)記提醒。記者檢索了包括抖音、小紅書、B 站等視頻平臺(tái)，許多 AI 生成的真人換臉短視頻下方都含有提示信息。以抖音為例，在用戶刷到 AI 生成內(nèi)容的短視頻時(shí)，會(huì)標(biāo)注“疑似包含 AI 創(chuàng)作信息，請(qǐng)注意甄別真實(shí)度”的提醒。這也為我們識(shí)別 AI 生成視頻提供了一定的參考。
AI 合成語音：鑒別不易，防范更難
與 AI 換臉視頻相比，AI 合成語音在詐騙中其實(shí)更難辨別。
全球安全技術(shù)公司邁克菲（McAfee）在 2023 年發(fā)布的調(diào)查報(bào)告中指出，只需提供3-4秒的錄音，網(wǎng)絡(luò)上的免費(fèi)AI工具就能生成相似度達(dá)到85%的克隆人聲。在參與調(diào)查的 7000 多位全球受訪者中，有 70%的人不確定是否能分辨 AI 合成語音，而大約有 10%的人遭遇過 AI 語音詐騙。
在社交媒體上，許多留學(xué)生發(fā)帖表示曾遇到利用 AI 合成本人語音，對(duì)在國(guó)內(nèi)的父母進(jìn)行的詐騙。這些詐騙以綁架為名，放出 AI 合成的求救語音，同時(shí)利用時(shí)空差，在造成恐慌的心理下騙取大量金額。
以目前的 AI 技術(shù)，克隆一個(gè)人的聲音有多容易？我們以騷擾電話提取人聲為場(chǎng)景，進(jìn)行了一段模擬：

模擬騷擾電話提取人聲
00:00




00:19




這段模擬騷擾電話的對(duì)話，前半部分采用目前主流的 AI 客服電話模式，后半段由記者真人人聲應(yīng)答，實(shí)際應(yīng)答時(shí)長(zhǎng)約 6 秒。幾秒鐘的音頻樣本對(duì)生成一段效果逼真的克隆聲音來說已經(jīng)足夠。記者在網(wǎng)絡(luò)隨機(jī)找到一款開源的 AI 語音克隆工具，根據(jù)這 6 秒的應(yīng)答語音合成了一段可以自定義內(nèi)容的語音。
使用AI工具合成人聲
00:00




00:07




使用 AI 合成的語音效果非常接近原聲，語音語調(diào)與原始音頻大差不差，在面對(duì) AI 工具的檢測(cè)上，甚至還“逃過一劫”。
AI 工具對(duì)語音的檢測(cè)，一般關(guān)注合成語音中的頻率缺失部分、音調(diào)的起伏等。此外，檢測(cè)的準(zhǔn)確性還受語音時(shí)長(zhǎng)的影響。因此，在驗(yàn)證對(duì) AI 語音的懷疑上，AI 工具的結(jié)果還需結(jié)合我們對(duì)語音內(nèi)容的辨析。AI 領(lǐng)域科學(xué)家 Dr. Adrian Kaehler 在接受一項(xiàng)采訪時(shí)也提出，“你可以引導(dǎo)其說出一些特定的話，從而幫你判斷真?zhèn)巍?，進(jìn)行內(nèi)容上的辨析。
回溯 AI 語音的騙局的生成，語音的泄露問題也值得加強(qiáng)關(guān)注。該騙局通常是通過騷擾電話錄音來獲取真實(shí)聲源。所以，面對(duì)未知來電時(shí)，我們可以在了解對(duì)方的信息之后再開口，減少不必要的信息泄露。
AI 虛假信息：識(shí)別效果參差不齊，中文支持差
與視頻、語音近來出現(xiàn)的“高端騙術(shù)”相比，用 AI 生成的虛假信息進(jìn)行傳播算是“常規(guī)局”，但可能造成更廣泛的影響。在眾多的信息流之中，AI 生成的內(nèi)容時(shí)常以假亂真，在信息層面上造成誤導(dǎo)甚至誘導(dǎo)。
2023 年 2 月，一則有關(guān)“杭州市政府 3 月 1 號(hào)取消機(jī)動(dòng)車依尾號(hào)限行”的“新聞稿”在網(wǎng)上瘋傳。隨后杭州警方證實(shí)，該消息不實(shí)。其內(nèi)容來自于某小區(qū)業(yè)主群對(duì) ChatGPT 的討論，不明實(shí)情的群友轉(zhuǎn)發(fā)了其中由 AI 寫作而成的新聞稿，造成錯(cuò)誤信息的傳播，誤導(dǎo)公眾。
目前，市面上有諸多 AI 文本檢測(cè)工具為辨別 AI 生成內(nèi)容提供服務(wù)，如 GPTZero、Copyleaks、Smodin 等。在實(shí)現(xiàn) AI 檢測(cè)的原理上，GPTZero 主要關(guān)注困惑度（perplexity）和突發(fā)性（burstiness）這兩個(gè)指標(biāo)，前者衡量文本的不可預(yù)測(cè)性，后者衡量句子結(jié)構(gòu)和長(zhǎng)度的變化。由于 AI 生成文本和人類生成文本的差異，檢測(cè)得以實(shí)現(xiàn)。
當(dāng)我們將文本貼入這些工具的檢測(cè)框后，它們可以快速判斷出文本由 AI 生成的可能性，并高亮其判定為由 AI 生成的語句。
GPTZero界面


在實(shí)際操作中，我們發(fā)現(xiàn) AI 檢測(cè)的準(zhǔn)確度受長(zhǎng)度的影響，GPTZero 對(duì)檢測(cè)文本的字符數(shù)就要求達(dá) 250。以及不同工具對(duì)不同語言文本的識(shí)別能力也有所分異。當(dāng)我們選取上述以 GPT 寫作而成的假新聞稿作為檢測(cè)文本時(shí)，GPTZero 將其判定為完全由人寫成，而 Smodin 則給出了 71.4%的 AI 生成可能性，結(jié)果大相徑庭。
使用GPTZero的檢測(cè)結(jié)果

使用Smodin的檢測(cè)結(jié)果


在中文內(nèi)容的檢測(cè)上，我們發(fā)現(xiàn)實(shí)際可用的工具較少。那么在遇到可疑信息時(shí)，還是少不了慣常的核查思路，追溯信息源、交叉求證……
不難發(fā)現(xiàn)，利用 AI 工具進(jìn)行反詐騙的檢測(cè)，主要依據(jù)是人類與 AI 生成內(nèi)容的不同點(diǎn)檢測(cè)。也正是因?yàn)檫@一點(diǎn)，AI 檢測(cè)工具無法穩(wěn)定地保持較高的準(zhǔn)確率。
面對(duì)日益猖獗的 AI 詐騙，我們能做的或許首先是引起重視并拓寬認(rèn)知邊界，運(yùn)用邏輯的思辨輔之以 AI 工具進(jìn)行雙重保障與防范。

*封面圖由 Midjourney 生成