AI換臉、聲音克隆…… 人工智能技術(shù)濫用該如何應對？
來源： 中央廣播電視總臺中國之聲
2025-11-25 10:30:00
近日，有演員被多個直播間AI換臉冒用形象直播帶貨的現(xiàn)象引發(fā)關(guān)注，然而，這種情況并非個例。此前，中國之聲就曾報道過，運動員、演員等知名人士深受AI換臉的困擾。實際上，AI換臉與聲音克隆技術(shù)形成的灰色產(chǎn)業(yè)鏈已對個人權(quán)益、平臺監(jiān)管都構(gòu)成了嚴重威脅。
盡管監(jiān)管部門已出臺相關(guān)規(guī)定，明確要求AI生成內(nèi)容必須標注，平臺在采取措施加強管理，但仍有不法分子通過各種手段規(guī)避監(jiān)管。面對技術(shù)濫用不斷翻新的挑戰(zhàn)，如何治理無底線AI換臉與聲音克隆的亂象，來真正守護住我們的“面孔”和“聲音”？
前不久，有網(wǎng)友發(fā)現(xiàn)一位演員同時現(xiàn)身三個不同的直播間，身著不同服裝推廣著不同的產(chǎn)品，動作神態(tài)與本人高度相似。后經(jīng)了解，這三個直播間或是錄屏摳圖，或是商家盜用該演員過往的直播素材，經(jīng)過深度合成，重塑形象與語音嵌入直播間進行模擬。
這位演員的團隊工作人員發(fā)現(xiàn)虛假視頻在網(wǎng)絡(luò)傳播后便持續(xù)進行舉報，一天內(nèi)曾集中舉報50個假冒賬號，有的造假賬號被平臺下架處理，有的則剛下架就換個形式重新出現(xiàn)。據(jù)介紹，部分商家只需截取一段影像，用簡易工具就能生成虛假內(nèi)容，而取證申訴的過程卻要花費很大的精力。
演員團隊工作人員：他們喜歡在凌晨3點、4點，大家都在休息的時候打時間差，去發(fā)這個東西。我們送達了律師函，包括他們的侵權(quán)行為、產(chǎn)品，所對應的公司主體，這其實只是一部分。早些前我們已經(jīng)陸陸續(xù)續(xù)處理了很大一批了。
AI換臉亂象，不僅讓名人深受其擾，普通人遭遇AI換臉侵犯權(quán)益的現(xiàn)象也時有發(fā)生。上個月，山東濟南的陳先生在某社交平臺網(wǎng)購了兩條褲子，卻只收到了一袋小蘇打，商家表示貨發(fā)錯了，由此雙方起了爭執(zhí)。沒想到，商家竟用AI換臉，冒用陳先生妻子的形象在社交媒體發(fā)布不雅視頻。
陳先生：起了爭執(zhí)，我說了他一句，他給我打電話就辱罵我，長達10多分鐘，掛了之后，我就向平臺舉報了，因為我是有錄音的。但是后期他發(fā)布了視頻AI換臉，換的是我愛人的。
陳先生稱，商家通過購物記錄找到他在社交平臺上的賬號，起初在陳先生已發(fā)布的視頻下方惡意評論，而后注冊賬號盜用陳先生妻子的形象發(fā)布不雅視頻。陳先生隨后向平臺方投訴，并向警方報警，最終侵權(quán)賬號被封。
濫用AI換臉技術(shù)，不僅出現(xiàn)在侵犯肖像權(quán)的民事案件中，甚至已觸及刑事犯罪。此前，江蘇省南京市玄武區(qū)人民法院審理了一起“AI換臉”詐騙案。被告人符某利用非法獲取的195萬多條公民個人信息和AI換臉軟件，登錄了被害人的支付賬戶，盜刷銀行卡進行消費。
南京市玄武區(qū)人民檢察院檢察官助理張海月告訴記者，符某通過AI換臉軟件，以“人臉識別”的方式，登錄了23名被害人的金融平臺支付賬戶。其中，非法更改了5人的支付密碼和綁定手機號，冒用了1人的支付賬戶綁定的銀行卡購買了兩部手機，共計人民幣15996元。
南京市玄武區(qū)人民檢察院檢察官助理 張海月：通過技術(shù)融合，AI生成一個動態(tài)視頻，左搖頭、右搖頭、張嘴，這樣一些金融視頻可能會常對用戶登錄時做的一些指令，突破金融支付平臺的防線。
其間，符某曾試圖利用AI換臉，突破多個金融支付平臺的“人臉識別”認證系統(tǒng)。
南京市玄武區(qū)人民檢察院檢察官 徐佳：他不斷去嘗試，也嘗試了很多平臺，但是別的平臺可能因為風控系統(tǒng)比較嚴格，這個平臺可能存在一些漏洞，最終得逞。
而后，法院以侵犯公民個人信息罪、信用卡詐騙罪數(shù)罪并罰，判處符某有期徒刑4年6個月，并要求其承擔15996元公益損害賠償金、刪除存儲的所有公民個人信息。另外，針對本案暴露的某金融支付平臺存在的技術(shù)風險問題，檢察機關(guān)及時發(fā)出法律風險提示函。目前，該金融支付平臺已完成整改。
記者在多個社交平臺發(fā)現(xiàn)，AI換臉教程及服務(wù)可以輕易搜索到，也有一些博主上傳相關(guān)軟件使用技巧。而在網(wǎng)購平臺，該類軟件或服務(wù)定價較低。記者也注意到，監(jiān)管部門已針對AI虛假直播出臺治理措施，國家網(wǎng)信辦等多部門共同發(fā)布《人工智能生成合成內(nèi)容標識辦法》，明確要求AI生成的肖像視頻需標注AI生成，否則將面臨最高10萬元罰款。但很多博主將標注藏在視頻或者直播剪接的角落，或者用極小的字體顯示，消費者很難注意到。
中國政法大學刑事司法學院教授 謝澍：AI換臉與聲音克隆技術(shù)形成的灰色產(chǎn)業(yè)鏈，是網(wǎng)絡(luò)黑灰產(chǎn)的典型形態(tài)。此類犯罪涉及全鏈條，需要系統(tǒng)審查，綜合判斷。
中國政法大學刑事司法學院教授 謝澍：其上下游行為可被現(xiàn)行刑法有效規(guī)制。當前的核心挑戰(zhàn)在于偵查中的證據(jù)固定以及對各環(huán)節(jié)“主觀明知”的準確認定。必須堅持全鏈條打擊思路，同時壓實平臺主體責任，對拒不履行網(wǎng)絡(luò)安全管理義務(wù)的平臺追究刑事責任。現(xiàn)有刑法罪名體系已能對此類技術(shù)濫用形成有力威懾，關(guān)鍵在于通過嚴格執(zhí)法與精準司法，將法律條文轉(zhuǎn)化為實際的治理效能。
目前，已有平臺針對AI仿冒名人帶貨行為采取專項治理。但平臺相關(guān)負責人稱，AI侵權(quán)識別是行業(yè)性難題，黑灰產(chǎn)通過凌晨發(fā)布、頻繁更換賬號等手段規(guī)避監(jiān)管，未來將持續(xù)加強治理力度，對違規(guī)行為嚴格處置。
AI換臉亂象，亟需全鏈條、多方協(xié)同發(fā)力的綜合治理。對內(nèi)容發(fā)布者而言，法律的底線不容突破。無論是盜用名人形象帶貨，還是對普通消費者進行換臉報復，其行為均已構(gòu)成違法甚至犯罪。每一個技術(shù)使用者都應清醒認識到：技術(shù)絕非侵權(quán)行為的擋箭牌。
平臺作為內(nèi)容傳播的關(guān)鍵環(huán)節(jié)，不能僅滿足于“出現(xiàn)一例處理一例”的被動響應，而必須將防線前移，利用技術(shù)手段打擊黑灰產(chǎn)。AI換臉亂象治理是一場關(guān)乎技術(shù)、法律與道德的博弈。唯有發(fā)布者自律、平臺盡責、監(jiān)管到位，形成治理合力，才能遏制技術(shù)濫用的灰色產(chǎn)業(yè)鏈，讓技術(shù)進步不偏離法治與文明的軌道。