這是AI 的時代,也是AI 偵測器的時代。
近段時間,隨著AI 產生的內容(AIGC)越來越多,其中還有不少試圖假冒真實內容,AI 內容檢測也正成為一種越來越迫切的需求,尤其是在註重實證、真實性至關的重要的論文寫作上。
然而,這些AI 內容檢測器的表現究竟如何呢?
可能遠遠不及預期。
前兩天,知名暢銷書作家Adam Kay 在社群媒體X 分享了自己的經歷:他心血來潮,把自己的作品丟進一款AI 偵測器裡查重,結果係統信誓旦旦地判定其中有29.7% 的內容由機器生成。
最尷尬的地方在於,這本書早在近十年前就已出版,當時的AI 技術連他書中的一句長難句都讀不明白。

這條吐槽貼文迅速引爆網絡,目前瀏覽量已突破210 萬次,同時也激起了全網一場浩浩蕩蕩的「測謊儀大挑戰」。越來越多的人拿著絕對不可能由AI 產生的文字去測試,得到的結果無一不令人啼笑皆非。
學術界可謂是這場誤判的重災區。例如愛丁堡大學全球公共衛生教授兼主任Devi Sridhar 教授的以前的文章就被檢測判定有90% 的內容都是AI 生成的。
阿伯丁羅伯特戈登大學公共政策系的榮譽退休教授Paul Spicker 45 年前的一篇論文也被判定有77% 的內容是AI 生成的。

也有更多網友分享了自己的檢測結果。例如網友decentricity 用自己2008 年的一篇關於AI 的論文進行了檢測,最後榮獲100% 純AI 產生的錯誤認證。這位網友調侃說自己用的是「GPT 負6」。
不只學術圈,連新聞報道也會被錯誤偵測。例如在下面的例子中,Zavinski 測試了自己剛剛撰寫的一篇2000 字的報紙報道,複盤了當地小鎮七十年代城市改造失敗的歷史。他特意使用了簡單易懂的平實文風,並且一手資料完全沒有在網路上公開過。即便如此,系統依然判定這篇報導有91% 的可能性是AI 寫的,順便也給出了「可讀性差」的紮心評價。

至於破折號識別法,幾乎已經普及,也迫使相當多的人類作者改變自己的寫作習慣。

還有更離譜的,就連經典的《羅密歐與茱麗葉》原著也被認為有41% 的內容是AI 生成的:

就連《獨立宣言》也未能倖免,AI 檢測器認為有99.99% 的內容來自AI:

為什麼AI 偵測器會給出如此讓人大跌眼鏡的結果?
作家Adam Kay 給出了自己的見解,如今大量人類創作內容被AI 公司用於模型訓練,因此,當大模型判斷某些段落像AI 風格時,本質上並不是人在模仿AI,而是AI 在復現它曾經學習過的人類表達。
所以,在不久的將來,當出版商像教育機構一樣,在印刷前把所有內容都拿去跑一遍AI 檢測時,那些被拿去訓練的成千上萬作者的作品,會不會反而被標記為AI 生成?這正是當下這種局面帶來的一個相當荒誕的副作用。

更是有網友指出,寫作程度越高(詞彙更豐富、文法更規範),反而越容易被偵測工具判定為AI 寫的。
“AI 檢測器簡直就是個笑話。它們是用人類創作的數據訓練出來的,卻反過來用來質疑人類的智能與原創性。僅憑這一點就把某人的作品標記為AI 生成,既不可靠,也不公平,而且在邏輯上站不住腳。”
這樣的質疑並非個案。
這位網友表示「這些東西本質上都是胡扯,先用人類的集體知識去訓練AI,然後又用同一個AI 來判斷一段內容是不是由AI 生成的,而這個判斷本來就建立在它最初訓練所依賴的人類智能之上。說到底,這真的是一種相當荒誕的邏輯。」
AI 寫的內容,本來就來自人類,我們還怎麼辨識AI?像是不像AI 這件事本身,或許就已經失去了明確的邊界。
華客|新聞與歷史:糟了 大佬45年前論文 被判AI生成
探索更多來自 華客 的內容
訂閱即可透過電子郵件收到最新文章。