315實(shí)測｜AI新型詐騙頻發(fā)，如何用AI工具解套防詐

簡小軍

在 Sora、Claude 3 將人工智能推向新高峰時，人工智能的觸手也被拿來伸向黑暗。
澎湃新聞對齊 Lab 梳理近期 AI 新型詐騙典型案例后發(fā)現(xiàn)：當(dāng)下利用 AI 技術(shù)的詐騙手段呈現(xiàn)出門檻更低，效果更逼真的趨勢，讓人更加防不勝防。
面對 AI 新型騙局的各類場景，我們應(yīng)該如何提高防范意識和應(yīng)對能力？
AI 換臉視頻：三招解套防詐騙
2023 年 6 月 10 日，國家反詐中心辟謠“AI 詐騙在全國爆發(fā)”，確認(rèn)全國 AI 詐騙實(shí)施不超過 10 起，主要是提前制作了換臉視頻，并不是實(shí)時的視頻互動通話。而新近的案例中，我們發(fā)現(xiàn)在視頻通話中利用 AI 換臉的案件數(shù)量逐漸變多。
AI 實(shí)時換臉的方式是利用人臉識別模型和攝像頭來獲取人臉的關(guān)鍵特征點(diǎn)。這些特征點(diǎn)被用來在視頻中跟蹤人臉輪廓、眼睛、眉毛等區(qū)域的位置。
理論上，面部特征點(diǎn)越多，AI 換臉的效果越好。因而，為了打造一個逼真的 AI 換臉騙局，犯罪分子通常會廣泛搜集與被害人有關(guān)親友的視頻、照片等作為換臉?biāo)夭摹?br /> 北京朝陽法院指出，詐騙分子會利用 AI 技術(shù)對所要施行詐騙的人群進(jìn)行篩選并生成定制化詐騙腳本。例如，在實(shí)施情感詐騙時，會篩選出經(jīng)常發(fā)布情感信息的人；在實(shí)施金融詐騙時，會篩選出經(jīng)常關(guān)注理財投資的人群。
在實(shí)際應(yīng)用中，為了平衡網(wǎng)絡(luò)延遲、生成效果等多種因素，人臉特征的提取上只會保留最具有代表性的特征點(diǎn)。當(dāng)這些最具有代表性的人臉特征點(diǎn)被遮擋或者數(shù)量減半時（側(cè)臉），AI 換臉就容易出現(xiàn)崩壞的情況。
論文 Joint Multi-view Face Alignment in the Wild 展現(xiàn)了人臉識別模型在不同人臉截面的特征點(diǎn)識別效果。從圖中可以看到，正臉特征點(diǎn)的識別效果遠(yuǎn)比側(cè)臉要好。


這可以成為我們破解 AI 換臉的辦法之一。metaphysic.ai 的一項(xiàng)研究指出，在視頻通話等實(shí)時視頻場景中，AI 換臉效果會因?yàn)槊娌空趽趸騻?cè)臉轉(zhuǎn)向而大打折扣。
測試者使用 AI 工具將自己的臉換成歐美明星。在用手遮擋面部后，AI 換臉出現(xiàn)了扭曲和面部波動的情況。在人臉側(cè)向攝像頭 90°時，AI 換臉在輪廓和人臉細(xì)節(jié)上出現(xiàn)了不同程度的崩壞和錯亂。圖片來源：metaphysic.ai


對于青睞“劃算又高效”、采取“廣撒網(wǎng)”策略的犯罪分子而言，進(jìn)一步通過優(yōu)化算法模型、增加更多訓(xùn)練圖像等方式優(yōu)化 AI 換臉效果的考慮較少。因而，當(dāng)我們遇到存疑的視頻通話時，可以要求對方做一些面部運(yùn)動，例如側(cè)臉轉(zhuǎn)向、進(jìn)行面部遮擋、捏鼻子等，來辨識 AI 換臉的可能性。
除了 AI 換臉視頻通話，AI 換臉視頻還被很多營銷號用來導(dǎo)流、帶貨。為了抓住流量密碼，許多營銷號不惜侵犯個人肖像權(quán)。
目前，一些社交平臺已經(jīng)對這類 AI 換臉賬號采取了封禁，但在短視頻平臺依舊能刷到類似的 AI 生成內(nèi)容。圖片來源：新浪熱點(diǎn)


最近一兩個月，許多人都能在短視頻平臺頻繁刷到這位俄羅斯博主的視頻。這些短視頻有著統(tǒng)一的故事腳本，包括熱愛中國文化，想嫁給中國男人等，并希望看視頻的人能夠買一點(diǎn)俄羅斯特產(chǎn)。這些在全網(wǎng)傳播的短視頻，均是由營銷號通過 AI 換臉制作而成。人臉盜用自烏克蘭網(wǎng)紅奧爾嘉（Olga Loiek）。
如何鑒別真假難辨的 AI 換臉短視頻？我們可以借助 Deepware 這類 AI 視頻識別工具。這類工具會在上傳視頻后，對視頻中存在 AI 生成或換臉內(nèi)容進(jìn)行分析，并給出識別報告。上圖左側(cè)是對早期 AI 換臉視頻的識別結(jié)果，右側(cè)是對近期俄羅斯 AI 網(wǎng)紅的識別結(jié)果。在 AI 換臉技術(shù)不斷迭代的今天，識別 AI 換臉的技術(shù)也急需更新?lián)Q代。
除了使用 AI 視頻鑒定工具外，還可以留意短視頻平臺對于 AI 內(nèi)容的標(biāo)記提醒。記者檢索了包括抖音、小紅書、B 站等視頻平臺，許多 AI 生成的真人換臉短視頻下方都含有提示信息。以抖音為例，在用戶刷到 AI 生成內(nèi)容的短視頻時，會標(biāo)注“疑似包含 AI 創(chuàng)作信息，請注意甄別真實(shí)度”的提醒。這也為我們識別 AI 生成視頻提供了一定的參考。
AI 合成語音：鑒別不易，防范更難
與 AI 換臉視頻相比，AI 合成語音在詐騙中其實(shí)更難辨別。
全球安全技術(shù)公司邁克菲（McAfee）在 2023 年發(fā)布的調(diào)查報告中指出，只需提供3-4秒的錄音，網(wǎng)絡(luò)上的免費(fèi)AI工具就能生成相似度達(dá)到85%的克隆人聲。在參與調(diào)查的 7000 多位全球受訪者中，有 70%的人不確定是否能分辨 AI 合成語音，而大約有 10%的人遭遇過 AI 語音詐騙。
在社交媒體上，許多留學(xué)生發(fā)帖表示曾遇到利用 AI 合成本人語音，對在國內(nèi)的父母進(jìn)行的詐騙。這些詐騙以綁架為名，放出 AI 合成的求救語音，同時利用時空差，在造成恐慌的心理下騙取大量金額。
以目前的 AI 技術(shù)，克隆一個人的聲音有多容易？我們以騷擾電話提取人聲為場景，進(jìn)行了一段模擬：

模擬騷擾電話提取人聲
00:00




00:19




這段模擬騷擾電話的對話，前半部分采用目前主流的 AI 客服電話模式，后半段由記者真人人聲應(yīng)答，實(shí)際應(yīng)答時長約 6 秒。幾秒鐘的音頻樣本對生成一段效果逼真的克隆聲音來說已經(jīng)足夠。記者在網(wǎng)絡(luò)隨機(jī)找到一款開源的 AI 語音克隆工具，根據(jù)這 6 秒的應(yīng)答語音合成了一段可以自定義內(nèi)容的語音。
使用AI工具合成人聲
00:00




00:07




使用 AI 合成的語音效果非常接近原聲，語音語調(diào)與原始音頻大差不差，在面對 AI 工具的檢測上，甚至還“逃過一劫”。
AI 工具對語音的檢測，一般關(guān)注合成語音中的頻率缺失部分、音調(diào)的起伏等。此外，檢測的準(zhǔn)確性還受語音時長的影響。因此，在驗(yàn)證對 AI 語音的懷疑上，AI 工具的結(jié)果還需結(jié)合我們對語音內(nèi)容的辨析。AI 領(lǐng)域科學(xué)家 Dr. Adrian Kaehler 在接受一項(xiàng)采訪時也提出，“你可以引導(dǎo)其說出一些特定的話，從而幫你判斷真?zhèn)巍保M(jìn)行內(nèi)容上的辨析。
回溯 AI 語音的騙局的生成，語音的泄露問題也值得加強(qiáng)關(guān)注。該騙局通常是通過騷擾電話錄音來獲取真實(shí)聲源。所以，面對未知來電時，我們可以在了解對方的信息之后再開口，減少不必要的信息泄露。
AI 虛假信息：識別效果參差不齊，中文支持差
與視頻、語音近來出現(xiàn)的“高端騙術(shù)”相比，用 AI 生成的虛假信息進(jìn)行傳播算是“常規(guī)局”，但可能造成更廣泛的影響。在眾多的信息流之中，AI 生成的內(nèi)容時常以假亂真，在信息層面上造成誤導(dǎo)甚至誘導(dǎo)。
2023 年 2 月，一則有關(guān)“杭州市政府 3 月 1 號取消機(jī)動車依尾號限行”的“新聞稿”在網(wǎng)上瘋傳。隨后杭州警方證實(shí)，該消息不實(shí)。其內(nèi)容來自于某小區(qū)業(yè)主群對 ChatGPT 的討論，不明實(shí)情的群友轉(zhuǎn)發(fā)了其中由 AI 寫作而成的新聞稿，造成錯誤信息的傳播，誤導(dǎo)公眾。
目前，市面上有諸多 AI 文本檢測工具為辨別 AI 生成內(nèi)容提供服務(wù)，如 GPTZero、Copyleaks、Smodin 等。在實(shí)現(xiàn) AI 檢測的原理上，GPTZero 主要關(guān)注困惑度（perplexity）和突發(fā)性（burstiness）這兩個指標(biāo)，前者衡量文本的不可預(yù)測性，后者衡量句子結(jié)構(gòu)和長度的變化。由于 AI 生成文本和人類生成文本的差異，檢測得以實(shí)現(xiàn)。
當(dāng)我們將文本貼入這些工具的檢測框后，它們可以快速判斷出文本由 AI 生成的可能性，并高亮其判定為由 AI 生成的語句。
GPTZero界面


在實(shí)際操作中，我們發(fā)現(xiàn) AI 檢測的準(zhǔn)確度受長度的影響，GPTZero 對檢測文本的字符數(shù)就要求達(dá) 250。以及不同工具對不同語言文本的識別能力也有所分異。當(dāng)我們選取上述以 GPT 寫作而成的假新聞稿作為檢測文本時，GPTZero 將其判定為完全由人寫成，而 Smodin 則給出了 71.4%的 AI 生成可能性，結(jié)果大相徑庭。
使用GPTZero的檢測結(jié)果

使用Smodin的檢測結(jié)果


在中文內(nèi)容的檢測上，我們發(fā)現(xiàn)實(shí)際可用的工具較少。那么在遇到可疑信息時，還是少不了慣常的核查思路，追溯信息源、交叉求證……
不難發(fā)現(xiàn)，利用 AI 工具進(jìn)行反詐騙的檢測，主要依據(jù)是人類與 AI 生成內(nèi)容的不同點(diǎn)檢測。也正是因?yàn)檫@一點(diǎn)，AI 檢測工具無法穩(wěn)定地保持較高的準(zhǔn)確率。
面對日益猖獗的 AI 詐騙，我們能做的或許首先是引起重視并拓寬認(rèn)知邊界，運(yùn)用邏輯的思辨輔之以 AI 工具進(jìn)行雙重保障與防范。

*封面圖由 Midjourney 生成