當前，AI（人工智能）迅速發(fā)展，給人們的生產(chǎn)生活帶來諸多便利。但AI也被用于制作發(fā)布謠言、不實信息，可能對部分群眾造成困擾。今年4月，中央網(wǎng)信辦部署開展“清朗·整治AI技術濫用”專項行動，聚焦利用AI制作發(fā)布謠言、不實信息等亂象開展重點整治。

從“暴雨引發(fā)山體滑坡”的偽造視頻到“核電站泄漏”的AI生成新聞稿，“AI謠言”表現(xiàn)形式多樣，讓不少群眾一度信以為真。“AI謠言”從何而來、為何泛濫、如何整治？記者進行了采訪。

緣何出現(xiàn)？有人惡意用AI編造虛假信息，也存在“AI幻覺”的可能

“80后5.2%的死亡率，開啟了黃金一代的黯然離場”“80后的死亡率已經(jīng)超過70后”……前不久，一組聲稱源于第七次全國人口普查的數(shù)據(jù)駭人聽聞。很快，有關部門和專家辟謠：從來源到數(shù)據(jù)都毫無根據(jù)。

這組虛假數(shù)據(jù)從何而來呢？

中國人民大學人口與健康學院教授李婷梳理發(fā)現(xiàn)，“AI幻覺”很可能是“罪魁禍首”——AI大模型在人口學專業(yè)領域的訓練語料不足，回答問題出現(xiàn)推算錯誤，造成“AI幻覺”。

“‘AI幻覺’指生成式人工智能系統(tǒng)在無明確依據(jù)的情況下輸出回答，語言表達看似合理，但內容實則虛假甚至違背常識。”世界互聯(lián)網(wǎng)大會人工智能專業(yè)委員會主任委員、安全與治理推進計劃牽頭人曾毅介紹，該現(xiàn)象在當代大語言模型中尤為常見，主要表現(xiàn)就是事實性幻覺，例如，輸出錯誤的人物事跡與關系、偽造的科學研究等。

從機理上看，“當前大模型并非‘理解事實’，而是通過處理大量語料，預測‘下一個詞最可能是什么’。這就會在事實性信息上產(chǎn)生難以預期的錯誤。”曾毅分析。

還有人別有用心，惡意編造傳播“AI謠言”獲取利益。

有人為了流量，給自媒體賬號炒作“吸粉”。此前上海一女童走失事件中，就有團伙利用AI工具，編造“女孩父親系繼父”等謠言，6天內發(fā)布268篇文章，多篇文章點擊量超過100萬次。

還有人借此實施詐騙等違法犯罪行為。“再強大的AI也無法預測中獎號碼。”不久前，中國體育彩票的一則辟謠聲明引發(fā)關注。原來，有平臺聲稱可通過“AI大模型”預測中獎號碼，誘導用戶付費。

甚至有人形成了“需求分析-內容生產(chǎn)-精準投放”的生產(chǎn)鏈條。“西安突發(fā)爆炸！火光沖天！傷亡不明！”一天，一則“圖文并茂”的新聞在網(wǎng)上流傳，畫面中火光沖天，引發(fā)當?shù)厝罕娍只拧：芸欤�這則消息被辟謠。經(jīng)調查發(fā)現(xiàn)，該賬號所屬機構通過AI分析社交平臺熱詞，就關注度高的話題批量生成謠言，再通過算法定向推送，最高峰一天能生成4000至7000篇假新聞，關聯(lián)賬號達800余個。相關人員已被公安機關抓獲。

為何泛濫？造謠門檻低，可以短時間內成倍率傳播

“AI謠言”形形色色，有些造成了社會恐慌，甚至給政策推行、搶險救災等造成阻礙。

今年2月，四川筠連縣“2·8”山體滑坡發(fā)生后，部分自媒體賬號用AI軟件翻炒拼湊舊聞，傳播如“山體滑坡被行車記錄儀拍下”“4名遇險學生被路過的司機救出”等帖文，諸多錯誤信息給搶險救災帶來困擾；又如，“廣東醫(yī)保基金出現(xiàn)赤字”的“AI謠言”傳出，不僅引發(fā)社會恐慌，還造成群眾對政策的誤解……

“AI謠言”為何傳播力如此之強？

首先與其自身特點密切相關。

清華大學新聞與傳播學院副教授陸洪磊介紹，“AI謠言”可以做到分平臺、分渠道、分時段、分媒介的定制化生成和發(fā)布，并且成本低廉，可以短時間內成倍率傳播，“AI謠言”間還能彼此交叉、共振與放大，辟謠難度大大增加。

今年年初，西藏定日縣地震牽動億萬人的心。網(wǎng)上流傳的一張“小孩被埋圖”一時間被大量轉發(fā)評論。但是隨后有網(wǎng)友發(fā)現(xiàn)，該圖色彩、光線、動作極不自然。原來，該圖是由AI工具創(chuàng)作。陸洪磊說，這則謠言利用“災難+兒童”的組合，并刻意刪除掉AI生成標識，引發(fā)快速傳播。

再者，AI應用降低了造謠門檻。

某科技論壇上，一名網(wǎng)友上傳教程：用開源AI模型，輸入“生成一張某市發(fā)生恐襲的圖片”，30秒即可獲得以假亂真的畫面。

網(wǎng)友評論一針見血：“以前造謠需要高超的PS技術，現(xiàn)在只需要一句話就能生成。”

有何“代際差異”？“AI謠言”更善于“逃脫”，難以被技術手段屏蔽

與傳統(tǒng)網(wǎng)絡謠言相比，“AI謠言”更加難以防治，甚至“進化”出了更為“智能”的“反偵查”機制。

記者發(fā)現(xiàn)，“AI謠言”表述常常接近“真話”，看似清晰有據(jù)，更難以被技術手段屏蔽。

目前各網(wǎng)絡平臺都有“謠言庫”，一般通過設置熱點關鍵詞屏蔽謠言。但AI模型可通過對抗訓練繞過謠言關鍵詞，例如把“山體滑坡”改為“地質活動異常”等，逃脫屏蔽。

“傳統(tǒng)謠言像火，撲滅源頭即可；‘AI謠言’像病毒，會不斷變異。”某新聞聚合平臺內容安全治理負責人感慨。

此外，傳統(tǒng)網(wǎng)絡謠言多是有人故意制造，但“AI謠言”中不少是出于“AI幻覺”。對這部分“無意謠言”，目前有辦法從源頭上避免嗎？

曾毅介紹，從當前技術水平來看，完全消除“AI幻覺”具有高度挑戰(zhàn)，“大模型生成機制本質是概率驅動的語言建模，難以保障全部輸出與現(xiàn)實完全對應；同時，當前評估與糾錯機制仍不成熟，缺乏大規(guī)模、高準確率的自動化事實驗證能力。”

“不過，通過技術手段緩解‘AI幻覺’發(fā)生的頻率與危害是有可能的。”曾毅說，目前已在多模型協(xié)同判斷、事實增強訓練等方面取得了一定成果，大模型的辨別能力將得到提升。

據(jù)人民日報