AI濫用“以假亂真”,你我如何不“入坑”?
編者按
AI技術(shù)的不斷發(fā)展和應(yīng)用,給人們的工作和生活帶來(lái)諸多便利,與此同時(shí),由于生成圖像、視頻、音頻的門檻降低,利用人工智能進(jìn)行“移花接木”偽造虛假信息的情況頻現(xiàn)。在電商平臺(tái),有的商家利用AI技術(shù)仿冒名人進(jìn)行直播和營(yíng)銷帶貨,侵害他人合法權(quán)益,損害消費(fèi)者知情權(quán)和選擇權(quán)。期待法治對(duì)AI濫用現(xiàn)象做出精準(zhǔn)回應(yīng),為技術(shù)發(fā)展明確法律邊界,讓科技在法治軌道上更好地服務(wù)人類。
近日,女演員溫崢嶸自曝在網(wǎng)上刷到了假冒自己的直播間。此前就有人發(fā)現(xiàn),她曾“出現(xiàn)”在多個(gè)直播間,同一時(shí)段,妝造不同,產(chǎn)品不同,但說(shuō)著同樣的話。這些直播間影像均非溫崢嶸本人出鏡,有的竟是AI合成的虛假直播。
AI技術(shù)的不斷成熟和廣泛應(yīng)用,給人們的工作和生活帶來(lái)諸多便利,但與此同時(shí),某些個(gè)人或商家利用AI生成虛假視頻誤導(dǎo)公眾。
專業(yè)人士認(rèn)為,應(yīng)進(jìn)一步明確AI生成內(nèi)容的標(biāo)識(shí)義務(wù),同時(shí),技術(shù)平臺(tái)和電商平臺(tái)等傳播類平臺(tái)需承擔(dān)識(shí)別、攔截以及對(duì)違規(guī)賬號(hào)進(jìn)行處罰的主體責(zé)任,公眾也應(yīng)提升對(duì)AI生成內(nèi)容的認(rèn)知能力和風(fēng)險(xiǎn)防范意識(shí)。
仿冒視頻誤導(dǎo)消費(fèi)者
“真這么神奇嗎?”“就這個(gè)痔瘡凝膠,不用忌口,不用遭罪,是全網(wǎng)唯一沒(méi)有差評(píng)的產(chǎn)品……”近日,《工人日?qǐng)?bào)》記者在上海的趙女士展示的一段視頻中看到,韓紅、潘長(zhǎng)江兩位明星一問(wèn)一答,正推銷某痔瘡產(chǎn)品,視頻中還有其他女明星為該產(chǎn)品“站臺(tái)”。
趙女士告訴記者,這是今年8月她在母親手機(jī)里某短視頻軟件上拍攝的一段視頻。她母親看到“連大牌明星都在推薦這款產(chǎn)品”,便準(zhǔn)備下單購(gòu)買。趙女士及時(shí)阻止,“這視頻一看就是AI生成的,說(shuō)話時(shí)表情和嘴巴都不自然”。
作為一名AI短劇創(chuàng)作者,譚靖告訴記者,趙女士母親看到的明星推銷視頻實(shí)際是利用數(shù)字人技術(shù)制作而成?!爸灰幸粡埫餍堑恼掌?,就能讓人物動(dòng)起來(lái),哪怕是張截圖。這位明星只要在某場(chǎng)合說(shuō)了一句話,聲音也能被克隆?!?/p>
今年6月,北京市海淀區(qū)市場(chǎng)監(jiān)管局查處了某公司利用AI技術(shù)冒用央視知名主持人名義和形象的虛假?gòu)V告案。8月,有媒體披露,在某社交平臺(tái)上,有博主利用AI技術(shù)仿冒奧運(yùn)冠軍全紅嬋的聲音賣土雞蛋,其中有的視頻點(diǎn)贊量高達(dá)1.1萬(wàn)。奧運(yùn)冠軍孫穎莎和王楚欽也同樣遭遇了類似仿冒。
以假亂真的畫(huà)面和聲音,加上名人效應(yīng),讓一些制作虛假視頻的營(yíng)銷博主收獲了大量訂單。記者在某短視頻平臺(tái)看到,趙女士母親刷到的“明星推銷痔瘡產(chǎn)品”視頻已下架,但顯示該產(chǎn)品銷量已近6000件。據(jù)報(bào)道,在“全紅嬋帶貨土雞蛋”的視頻評(píng)論區(qū),大量粉絲誤以為就是運(yùn)動(dòng)員本人“代言”,紛紛下單購(gòu)買,該商品顯示已售出4.7萬(wàn)件。
有消費(fèi)者發(fā)現(xiàn),隨著“雙十一”到來(lái),購(gòu)物平臺(tái)上AI生成的商品展示增多,如各類玩偶掛件、衣服、家具,甚至包括試衣模特。還有的商家在商品詳情頁(yè)、直播間使用AI生成的虛假測(cè)評(píng),編造使用體驗(yàn),影響消費(fèi)者理性判斷。
墾丁律師事務(wù)所創(chuàng)始合伙人麻策律師表示,利用AI技術(shù)仿冒名人進(jìn)行直播和營(yíng)銷帶貨,嚴(yán)重侵害了被仿冒名人的肖像權(quán)、名譽(yù)權(quán)和聲音權(quán)等合法權(quán)益,違反了消費(fèi)者權(quán)益保護(hù)法和廣告法中關(guān)于禁止虛假宣傳及不實(shí)廣告的規(guī)定,損害了消費(fèi)者的知情權(quán)和選擇權(quán),情節(jié)嚴(yán)重的可能構(gòu)成詐騙罪,須承擔(dān)刑事責(zé)任。
中國(guó)人民大學(xué)公共管理學(xué)院教授、首都發(fā)展與戰(zhàn)略研究院研究員張友浪表示,虛假視頻和商品展示等不僅導(dǎo)致信息失真與信任侵蝕,售后維權(quán)問(wèn)題增多,還會(huì)帶來(lái)平臺(tái)生態(tài)劣化,合規(guī)經(jīng)營(yíng)者被不公平競(jìng)爭(zhēng)擠壓等問(wèn)題。
識(shí)別AI虛假視頻的難度增大
“AI工具日益普及、操作簡(jiǎn)便,使得非專業(yè)人士也能輕易生成虛假內(nèi)容,是AI生成內(nèi)容被濫用的首要原因。”北京郵電大學(xué)互聯(lián)網(wǎng)治理與法律研究中心主任謝永江分析說(shuō)。
10月17日晚,安徽銅陵一女子用AI技術(shù)生成了幾張“流浪漢進(jìn)家”的圖片,發(fā)給在外聚餐的丈夫。逼真的畫(huà)面讓丈夫信以為真并報(bào)了警。民警到現(xiàn)場(chǎng)核實(shí)后,才確認(rèn)是利用AI整蠱引起的鬧劇。
在一家音樂(lè)培訓(xùn)機(jī)構(gòu)做視頻剪輯的時(shí)一,從去年起開(kāi)始嘗試用AI生成視頻。近日她在網(wǎng)上發(fā)布了一條自己制作的短片:藍(lán)色天空下,白色教學(xué)樓里傳來(lái)學(xué)生的瑯瑯讀書(shū)聲,教室里,老師在黑板上寫(xiě)下作文題“我想去看看”……3分鐘的視頻里,風(fēng)景、人物、日常用品都十分逼真。
“用AI技術(shù)生成圖片,再將圖片生成視頻,最后剪輯加配音,一條視頻就完成了?!睍r(shí)一告訴記者,她并非影視專業(yè)畢業(yè),只是對(duì)生成式視頻感興趣,上述逼真的視頻便是她用三四個(gè)軟件制作而成。
“很多AI圖片和視頻達(dá)到了以假亂真的程度,除非有標(biāo)識(shí),否則很難辨別?!痹谝患翌^部短視頻平臺(tái)做技術(shù)維護(hù)的劉鈺(化名)直言,隨著大模型生成能力越來(lái)越強(qiáng),識(shí)別AI虛假視頻的難度越來(lái)越大。
“一些長(zhǎng)視頻還可以根據(jù)上下文背景區(qū)分,以人像為主的短視頻加上特效后幾乎與真人沒(méi)區(qū)別,如果設(shè)備、碼率、幀率等再有所改善,識(shí)別精度會(huì)進(jìn)一步受限?!眲⑩曊f(shuō),現(xiàn)階段平臺(tái)在AI視頻識(shí)別上還主要靠人工和機(jī)器相結(jié)合,無(wú)法完全依賴技術(shù)識(shí)別。
張友浪分析認(rèn)為,平臺(tái)流量與帶貨轉(zhuǎn)化的強(qiáng)激勵(lì),使得一些商家和個(gè)人利用AI技術(shù)實(shí)現(xiàn)“劣幣逐利”,并迅速?gòu)?fù)制擴(kuò)散;網(wǎng)絡(luò)環(huán)境的匿名性、隱蔽性,使得濫用行為的取證難、追責(zé)成本高;很多人辨別深度偽造的媒介素養(yǎng)不足,平臺(tái)的內(nèi)容溯源機(jī)制不完善等,同樣助長(zhǎng)了AI生成內(nèi)容應(yīng)用亂象。
讓AI生成內(nèi)容“可見(jiàn)、可檢、可追”
今年9月1日起,由國(guó)家互聯(lián)網(wǎng)信息辦公室等制定的《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》開(kāi)始施行,要求所有AI生成的文字、圖片、視頻等內(nèi)容“亮明身份”,即添加標(biāo)識(shí)以明確其來(lái)源和真實(shí)性。
時(shí)一告訴記者,導(dǎo)出AI生成視頻時(shí),一般軟件會(huì)自帶有AI水印,如果沒(méi)帶水印,在發(fā)布視頻時(shí)需要選擇平臺(tái)提供的AI生成聲明選項(xiàng)。
“但選不選,目前還是看自覺(jué),有的人可能以為只要視頻不涉及版權(quán)、肖像權(quán)等問(wèn)題就可以不標(biāo)注?!弊T靖說(shuō),為了博眼球、賺流量,一些博主還會(huì)特意用AI技術(shù)去掉視頻原本的“AI生成”水印,并在發(fā)布時(shí)選擇不標(biāo)注。
9月,有短視頻平臺(tái)發(fā)布關(guān)于加強(qiáng)治理AI內(nèi)容濫用的公告稱,平臺(tái)已對(duì)違規(guī)視頻和賬號(hào)采取下架、清退等措施,并強(qiáng)調(diào)AI應(yīng)用必須合規(guī),任何誤用、濫用行為將被嚴(yán)厲打擊。
張友浪建議,不僅要對(duì)AI生成內(nèi)容添加標(biāo)識(shí),而且要“可見(jiàn)、可檢、可追”,可探索技術(shù)層面的隱性水印與溯源元數(shù)據(jù)、模型指紋等技術(shù)相結(jié)合,便于平臺(tái)與相關(guān)部門監(jiān)管核驗(yàn)。
在明確AI生成內(nèi)容的標(biāo)識(shí)責(zé)任上,張友浪認(rèn)為,應(yīng)實(shí)行“內(nèi)容生產(chǎn)者為首責(zé)、平臺(tái)把關(guān)、第三方可核驗(yàn)”的分層機(jī)制:上傳者先自聲明與嵌入水印;平臺(tái)在分發(fā)前進(jìn)行自動(dòng)識(shí)別與抽檢復(fù)核,對(duì)未標(biāo)注或疑似不實(shí)的內(nèi)容,要求強(qiáng)制補(bǔ)標(biāo)或限流下架;行業(yè)協(xié)會(huì)與權(quán)利人可通過(guò)取證接口進(jìn)行外部核驗(yàn)。此外,對(duì)商業(yè)營(yíng)銷、廣告性質(zhì)的內(nèi)容,應(yīng)按廣告法規(guī)定的更高披露標(biāo)準(zhǔn)執(zhí)行。
為進(jìn)一步引導(dǎo)社會(huì)合法合理使用AI生成內(nèi)容,謝永江建議強(qiáng)化平臺(tái)責(zé)任,加強(qiáng)技術(shù)和管理措施,同時(shí)提高公眾AI素養(yǎng)。此外,還要加強(qiáng)跨部門協(xié)作,進(jìn)一步整治AI生成內(nèi)容相關(guān)的違法行為。
本報(bào)記者 陶穩(wěn)
社會(huì)新聞精選:
- 2025年11月13日 14:50:14
- 2025年11月13日 13:24:31
- 2025年11月13日 09:38:57
- 2025年11月13日 08:13:59
- 2025年11月13日 07:51:52
- 2025年11月12日 22:15:41
- 2025年11月12日 16:36:12
- 2025年11月12日 16:20:21
- 2025年11月12日 16:02:30
- 2025年11月12日 15:53:27


















































京公網(wǎng)安備 11010202009201號(hào)