你怎麼知道這是AI寫的

如果要問DeepSeek、ChatGPT、文心一言、豆包、Kimi等生成式大模型最廣泛的用法是什麼,學生黨的回答可能是:寫作業。很多人發現,AI生成的文字,可能比自己寫得更優美、更流暢、更嚴謹。但這種便利無疑給學校管理者帶來了麻煩——如何監督學生,不把自主思考讓位給人工智能?在操作層面,這個難題就是——如何精准識別AIGC(AI生成內容)?
專家也難辨真假
記者調研發現,現如今,大學生利用AI輔助完成作業、畢業論文(設計)的情況已非常普遍。對此,全國多所高校都在試行或出台相關規定辦法,規范大學生對AI工具的使用。今年畢業季,部分高校提出要求,學生的畢業論文除了要通過查重外,還需檢測AIGC工具使用情況。
但現實中,不少學生反映,一些AI檢測工具存在誤判問題:有的學生在同一平台對同一文檔進行AI檢測,第一天的檢測率為10%,第二天上升至20%多﹔有的學生論文中的原創內容被系統判定為AI生成﹔更有學生發現,即便論文主要內容是公式、著名作家的經典文章,系統也會顯示AI檢測率超標……
AIGC,很難選、很難評?確實如此。
發表在《應用語言學研究方法》上的一則研究,討論了頂級期刊的語言學家、評論家能夠在多大程度上區分AI寫作和人工寫作——72位專家參與了這項調研,結果專家的正確率不足40%。
從共同處找不同
目前,如何精准識別AIGC,已經成為人工智能學術界研究的熱點。這不單單是為了督促學生們認真學習,更在科研、法律、政策、經濟管理等方面,有巨大的潛在需求。那麼,如何研發出一款“靠譜”的檢測工具呢?
西湖大學自然語言處理實驗室負責人張岳認為,要在共同處找不同。
他說:“盡管我們作為‘人’,很難准確揪出AI生成的文字,但面對AI撰寫的文字時,總有一種說不上來的‘別扭’。這種別扭,或許是來自潛意識裡的直覺判斷,但卻說不清道不明。”
事實上,機器生成的文本與人類生成的文本看起來很像,但在語義、語法、用詞習慣等細節處理上,存在許多不同。
“人類的思考是‘因果性’的,而機器的思考則偏向‘統計性’。”張岳進一步解釋,“以寫文章為例,AI的寫法是學習現有數據,從中挑選最‘安全穩妥’的詞,也就是按照概率高低來選詞,這和人寫作的創造性是有本質區別的。”
如果現在有一個數據庫,裡面裝著人類歷史上100位著名作家的文章。當AI用“統計性”學習這個數據庫,它學到的不是這些作家的“神來之筆”,而是他們之間共用的、出現頻率更高的詞。
這個詞,叫“平庸”。
因何如此?
張岳認為,症結在於AI缺少“泛化性”,即模型的“適應能力”。換言之,模型不能借助訓練數據中學到的因果邏輯舉一反三,並將這種能力拓展應用至未曾接觸過的領域。
用AI識別AI
日前,西湖大學自然語言處理實驗室研發出的一款AI程序Fast-DetectGPT,試圖用AI“打敗”AI。而這款工具,本質上就是“找不同”。
張岳介紹,目前已知主要有三類技術來識別AI生成的內容:監督分類器法、零樣本分類器法、文本水印法,用起來各有利弊。
監督分類器法比較實在,它需要收集大量的已知數據並做分類學習,就像學生上課,碰到沒有見過、學過的數據,就會找不著北,導致准確率下降。
零樣本分類器法,顧名思義無需收集數據,它主要是學習AI寫的文本有什麼特征,以此來做區分判斷。但是,AI寫文章到底有什麼特征呢?如果AI寫得越來越像人,特征越來越不明顯怎麼辦?這便是其中難點。
文本水印法,與前兩種方法的邏輯不同,它是在AI生成的文本上打上水印,准確率比前兩種都要高,但可能存在水印被人為弱化甚至移除的風險。
作為Fast—DetectGPT主要研發者,西湖大學博士研究生鮑光勝選擇用零樣本分類器法完成這項實驗。
他提出一種假設——在給定上下文情況下,人類和AI在選擇詞匯時會存在明顯差異,但不同AI模型之間的差異並不明顯。研究團隊針對這種差異,開發了一種自動化的指標進行區分。
“我們可以把它理解成,面對一篇文章,Fast—DetectGPT作為AI會先想想,自己會怎麼寫?然后根據這個自問自答的參考答案,去比對原文,看看重合度有多高——以子之矛,攻子之盾。”鮑光勝說。
他進一步解釋,當程序接收到一個文本片段,首先會在不改變原意的情況下進行改寫,把局部的同義詞替換掉,再將這份替換后的文本與原始文本進行對比,如果是AI寫的,兩者之間的相似性會比較明顯。
簡單來說,AI對AI寫的內容更“熟悉”,可以“認出”同類的作品。
效果怎麼樣?
張岳介紹,目前,Fast—DetectGPT及其私有模型擴展Glimpse能夠支持26種語言。2024年4月上線至今,已經有450多萬人次用它做過“是AI還是人”的檢測。與上一代DetectGPT相比,Fast—DetectGPT在速度上提升了340倍﹔在檢測准確率上相對提升約75%——在ChatGPT生成文本上,檢測正確率為96%﹔在GPT—4生成的文本上,檢測的正確率達到了90%﹔針對DeepSeek—v3生成文本的檢測,正確率則達89%。
“當然,面對當前不斷迭代更新的大模型,科研團隊將持續研究,以幫助公眾精准識別AIGC。”張岳說。
分享讓更多人看到
- 評論
- 關注