專題：2024年315金融投訴曝光臺

　　轉自：北京商報

　　員工被要求向指定賬戶轉賬，老板卻是AI換臉后的“冒牌貨”？就在2月，一則涉案金額高達2億港元的AI換臉詐騙案引發了高度關注。

　　如果說2023 年是生成式AI的元年，那么2024年它又迎來了新的爆發。ChatGPT帶來人工智能革命性的突破，Sora的橫空出世，又將人們帶入視頻生成全新領域。而在各種新鮮技術層出不窮的當下，不法分子通過AI換臉詐騙的隱患也隨之滋生。問題隨之而來：AI換臉怎么實現的？有沒有好的方法甄別？此類風險又該如何預防？

　　AI詐騙橫行

　　根據香港警方披露，一家跨國公司香港分部的職員受邀參加總部首席財務官發起的“多人視頻會議”，按照高管們的安排，先后15次將2億港元轉到指定的賬戶。沒承想，其他“參會人員”都是經過AI換臉后的詐騙人員。

　　事后調查發現，詐騙人在開始行動前，早已搜集好了公司高層的媒體采訪、視頻平臺的相關內容，并拿到英國總公司高層管理人員的形象和聲音，利用Deepfake（深度偽造）技術，制作出高層人員的發言視頻。而詐騙人在視頻會議當天直接使用提前制作好的視頻，由于視頻會議的內容基本上是總公司的高管們單方面向其他人下達命令，會議期間并沒有暴露真相。

　　此次詐騙事件中的“Deepfake”技術，在早年就已經引起過轟動。這樣的深度偽造技術指基于AI人工智能技術進行人體圖像的合成。目前使用AI的深偽技術已經能達到還原度很高的換臉效果，再結合語音偽造技術，就能做到“造人”。

　　香港2億港元詐騙案并不是個例。近日，陜西西安財務人員張女士與老板視頻通話，被要求轉賬186萬元到一個指定賬號。被害人張女士稱，“老板”讓把這個款趕緊轉過去，這筆款要得非常著急，因為“老板”聲音還有視頻圖像都跟他本人是一樣的，所以并未起疑。當然，這同樣是一場騙局。

　　種種案件的發生，已經昭示著AI詐騙離我們不再遙遠。電信詐騙不法分子通常會換臉成親人、朋友、同事等，向受害人索取錢財，視頻的方式看似可信度高，卻也讓受害人放松了警惕。

　　已有檢測算法辨別換臉

　　“眼見不一定為實”“有圖有視頻也不一定是真相”的時代已經來臨。AI技術革新催生了花樣繁雜的詐騙手段，對于普通人來說，了解技術背后的原理，才能“知己知彼”。

　　事實上，AI換臉背后的技術邏輯并不復雜。“簡單來講，AI換臉主要使用的就是深度合成技術。”中國信通院人工智能中心安全與元宇宙部主任石霖介紹道，首先使用大量的人臉數據，通過深度學習算法和神經網絡，訓練模型識別和理解人臉的關鍵特征，這些特征主要包括五官的位置、表情、光照等。在換臉的過程中，使用訓練好的模型提取原始人臉照片或視頻的特征，然后將目標人臉與之相匹配，實現這些特征的轉移。

　　石霖補充到，前幾年，實現AI換臉存在一定的門檻，通常需要高質量的數據集對模型進行訓練和微調，讓模型能夠準確地識別和提取面部特征；在制作換臉視頻的過程中，需要足夠的算力資源來支撐模型的運行。然而當前，已經有很多相對成熟的深度合成的開源項目或者工具。“可以說AI換臉的成本正在逐步降低，速度和擬真度正在不斷提升，已經達到了快速制作一段肉眼難以辨別的換臉視頻的程度。”

　　不過與此同時，當前AI換臉的一些技術弱點仍然存在。石霖指出，一些換臉的視頻會存在光照、表情等不夠自然、幀與幀之間不夠連貫的問題，盡管隨著模型能力的提升，這些換臉的痕跡已經做到幾乎肉眼難以辨別的程度，但我們仍然可以通過一些專用的檢測算法進行辨別。這些檢測算法在訓練過程中大量學習了換臉視頻中偽造特征的方式，在使用的過程中逐幀提取特征，從而判斷一段視頻是否經過了換臉。當前，這些技術已經開始用在金融場景中，實現對詐騙等行為的識別。

　　那么，這些鑒別技術應用于反詐領域，前景如何？不得不承認，網絡信號與算力仍是待解決的難題。“由于這些技術仍然需要大量的計算資源特別是GPU的支持，因此，通常在使用過程中，需要將相關的檢測模型部署在服務器中。但如果想要將這些檢測模型部署在手機、個人電腦中，或嵌入到社交、會議軟件里，可能會對軟硬件的使用體驗造成較大的影響。近年來，很多技術企業已經開始嘗試不斷優化檢測模型，探索將模型部署在端側。”石霖說道。

　　隱私泄露的黑灰產業鏈

　　“我的人臉信息他們從何而來？”“人臉識別會被攻克嗎？”不法分子有機會實施AI換臉詐騙，背后反映出公民面部特征等生物識別信息、家庭身份信息、財產信息等隱私泄露的問題，更值得深思。

　　“詐騙分子給你發個鏈接，上傳幾張照片、填寫個人信息就能領幾塊錢紅包，這樣的收集方式太普遍了。”北京某高校一相關技術資深研究員對北京商報記者表示，當前公民個人信息被非法收集、交易、挖掘、利用的問題長期存在，并且已經形成黑灰產業鏈。AI技術被運用到黑灰產業鏈上，恰恰使得不法分子對個人的畫像越來越精確，借此開展精準詐騙。

　　在北京尋真律師事務所律師王德怡看來，從法律層面上來講，我國缺少一部對公民個人信息進行完整保護的法律或行政法規。一些保護性規定只是在一些部門規章或地方性規定中有體現。生活中使用人臉識別技術非常普遍，但相關數據的傳輸、存儲、保護是一個大問題。一旦發生數據泄露或者有意出售，難以追究責任。如何在提供技術方便的同時，又保證個人數據安全，需要立法劃清權利義務邊界。

　　一方面，是隱私信息的采集和使用者未按規定收集、存儲、使用和銷毀個人隱私，導致在對隱私數據設定嚴格的訪問控制規則上出現疏漏；另一方面，公民能否建立良好隱私保護意識，同樣起到了至關重要的作用。石霖建議，當用戶遇到采集人臉等個人隱私數據的網站、App，應該謹慎和仔細閱讀敏感信息的收集協議，了解適用范圍，謹慎將人臉等個人隱私數據授權給不必要的企業和個人。

　　多主體全鏈條治理

　　除了消費者自身提高網絡安全意識，對于AI換臉相關風險的預防與整治，需要從平臺、相關技術服務商，到監管、司法形成多主體、全鏈條的治理。

　　北京市中聞律師事務所律師李亞指出，《互聯網信息服務深度合成管理規定》明確規定，不得利用深度合成服務從事危害國家安全和利益、損害國家形象、侵害社會公共利益、擾亂經濟和社會秩序、侵犯他人合法權益等法律、行政法規禁止的活動。針對網絡用戶、服務平臺，可通過對AI深度合成技術的使用目的以及數據和技術管理進行規制，實現深度合成技術的合理使用。

　　“在人臉等敏感個人信息的采集使用者層面，應該嚴格落實法律法規的相關要求，設定采集和使用范圍、訪問規則、銷毀策略等，并配備相關的技術手段提升安全防護能力。在技術提供方層面，應該不斷提升換臉視頻的識別能力，降低識別系統的運行成本，逐步實現識別系統的廣泛普及應用。”石霖補充道。

　　此外，監管是必不可少的一環。石霖表示，應加強涉及人臉信息采集、使用的互聯網信息服務提供者的監管工作，依法依規對采集、存儲、使用、銷毀等關鍵環節的制度、技術進行執法檢查，幫助企業提升安全合規能力。

　　風險提示

　　針對性強、不易識別是AI換臉新型騙局的主要特征。對于普通消費者來說，如何有效甄別、避免遭受財產損失？

　　專家建議，如遇此類詐騙手段，最簡單的方法，可以要求對方在視頻對話時，在臉部的前面通過揮手的方式進行識別，或讓對方摁鼻子、捏臉觀察其面部變化。實時偽造的視頻，在揮手的過程中，會造成面部數據的干擾，很容易露出破綻；如果是真人的鼻子、臉部，按下去會變形，但AI生成的鼻子并不會。

　　另外，如果覺得聊天內容不太對勁，可以放大窗口查看光線和陰影是否正常，人像邊緣有沒有模糊；還可以在點對點的溝通中問一些只有對方知道的問題，驗證屏幕對面人的身份真實性。

　　當然，最重要的還是消費者應提高網絡安全意識，防患于未然。謹慎授權人臉等個人隱私信息，不點擊陌生鏈接、掃描陌生二維碼，不輕易泄露個人銀行卡賬戶、密碼、驗證碼等關鍵信息。

海量資訊、精準解讀，盡在新浪財經APP

責任編輯：張文