AI生成虛假案例混入司法審判太荒謬，AI好用也不能哪里都用
來源： 紫牛新聞
2025-10-30 18:35:00
這兩日，一起略顯荒謬的AI幻覺事件在法律圈中引發(fā)討論。據(jù)北京市高級人民法院發(fā)布的消息，近日北京市通州區(qū)人民法院在審理一起由股權(quán)代持引發(fā)的商事糾紛案件中，原告代理人提交給法庭的書面材料里竟然出現(xiàn)了AI生成的虛假案例。
根據(jù)北京市通州區(qū)人民法院對這起案件的介紹，原告代理人為了進一步佐證其觀點，在向法庭提交的書面意見中，援引了名為最高法院的某案例及上海一中院的（2022）滬01民終12345號案件。從代理意見的描述來看，兩案的事實細節(jié)、法律爭議與裁判邏輯都與審理中的案件高度契合，完美佐證了原告代理人的主張觀點，初看之下極具參考價值。
出于職業(yè)敏感性，承辦法官進行了檢索核實，卻發(fā)現(xiàn)這兩個案號所對應的真實案件事實與代理人書面意見中描述的情況完全不同。在承辦法官的質(zhì)詢下，原告代理人承認自己是向某AI大模型軟件提問，由AI軟件生成了參考案例，代理人沒有進一步核實案例的真實性，直接復制粘貼后提交給法院。承辦法官在判決書中明確對原告代理人行為做出批評，要求原告代理人引以為戒，并表示在向法院提交參考案例、法條時，應當進行檢查和核驗，確保內(nèi)容的真實性和準確性，不得放任人工智能模型生成或者編造虛假信息擾亂司法秩序。
這或許是國內(nèi)首起公開的AI幻覺擾亂司法秩序的案例，所幸的是承辦法官工作態(tài)度嚴謹，對案例進行了核實，沒有造成不良影響，保證了司法的公平公正。在海外已經(jīng)發(fā)生了多起律師被人工智能“背刺”的例子，此前有三名美國律師在法律文件中引用人工智能生成的虛構(gòu)案例被罰款3000美元到1000美元不等，其中一人被解職。
人工智能工具發(fā)展迅速，操作便捷，正在迅速的改變包括法律部門在內(nèi)的多個領域，但隨之而來的AI幻覺問題給各個領域都帶來了重大挑戰(zhàn)，人工智能模型生成不正確、捏造或誤導性的信息，并以令人信服的方式呈現(xiàn)，這種幻覺足以蒙蔽大多數(shù)人，且至今沒有完全有效的解決辦法。
對于用戶來說，利用AI工具迅速檢索、整理紛雜的信息，大大的減少了自己的工作量，看起來真的是很好用，但AI再好用也不能哪里都用，幾乎所有的AI大模型都會提示用戶，不要輕信AI提供的內(nèi)容，大模型無法為生成的內(nèi)容的真實性負責，但隨著AI工具頻率不斷提高，普及率也越來越高，這些提示能起到的作用也變得十分有限，習慣于AI一鍵輸出的用戶對AI幻覺變得視而不見，于是便出現(xiàn)了虛假的案例被有模有樣的寫進了提交給法庭的書面材料這樣草臺班子一樣的事情。AI大模型的生成邏輯基于概率統(tǒng)計與語境匹配，當使用者明確輸入案件細節(jié)后，其生成的案例往往刻意貼合需求，事實細節(jié)、論理結(jié)論可能與使用者需求高度重合，呈現(xiàn)人為定制化特征，越是看起來“稱心如意”，越是應該提高警惕。須知司法活動的核心是“以事實為依據(jù)，以法律為準繩”。這里的“事實”，既包括案件事實，也包括作為先例的裁判事實，這一起虛假案件靠著法官的火眼金睛這個被抓出來了，那么下一個呢？技術(shù)在不斷進步，在試圖減少AI幻覺的同時，作為使用者也不能太放心這些靈活好用的AI工具，即便要用二次核查也必不可少，總不能讓工具代替了獨立思考。
揚子晚報|紫牛新聞記者 沈昭
校對 潘政