“AI教父”約書亞·本吉奧出手！3000萬美元打造AI“誠(chéng)信”系統(tǒng)
來源： 紫牛新聞
2025-06-04 16:17:00
6月3日，著名的人工智能領(lǐng)域研究員約書亞·本吉奧（Yoshua Bengio）宣布成立非營(yíng)利組織LawZero，致力于構(gòu)建 “誠(chéng)實(shí)” 的人工智能系統(tǒng)，以識(shí)別和防范可能對(duì)人類構(gòu)成威脅的“流氓”AI智能體。
約書亞·本吉奧
約書亞·本吉奧，是加拿大蒙特利爾大學(xué)教授和人工智能研究所（Mila）科學(xué)主任。他的研究主要集中在深度學(xué)習(xí)和人工智能領(lǐng)域。2018 年獲得圖靈獎(jiǎng)（被稱為“計(jì)算界的諾貝爾獎(jiǎng)”）的三位科學(xué)家分別是杰弗里?辛頓（Geoffrey Hinton）、楊立昆（Yann LeCun）和約書亞?本吉奧（Yoshua Bengio），他們被稱為“AI教父”，為深度學(xué)習(xí)的發(fā)展和人工智能領(lǐng)域的進(jìn)步做出了卓越貢獻(xiàn)。
據(jù)介紹，LawZero的核心目標(biāo)是開發(fā)一套名為 “Scientist AI” 的安全防護(hù)機(jī)制，專門監(jiān)控?zé)o需人類干預(yù)即可執(zhí)行任務(wù)的 AI 智能體，防止其表現(xiàn)出欺騙、自我保護(hù)等危險(xiǎn)行為，例如試圖阻止人類關(guān)閉系統(tǒng)。本吉奧將現(xiàn)有 AI 智能體比喻為“演員”—— 它們通過模仿人類行為取悅用戶，而Scientist AI則扮演“心理學(xué)家”角色，通過理解和預(yù)測(cè)不良行為模式，為 AI 系統(tǒng)裝上“護(hù)欄”。
Scientist AI采用概率化評(píng)估框架，不會(huì)直接給出確定性答案，而是以 “謙遜” 態(tài)度量化答案的正確性，并預(yù)測(cè)特定行為導(dǎo)致危害的概率。當(dāng)風(fēng)險(xiǎn)超過預(yù)設(shè)閾值時(shí)，系統(tǒng)將自動(dòng)阻止相關(guān)行動(dòng)。這一設(shè)計(jì)旨在解決當(dāng)前 AI 系統(tǒng)因目標(biāo)對(duì)齊問題引發(fā)的潛在失控風(fēng)險(xiǎn)，例如 AI 為達(dá)成任務(wù)目標(biāo)而采取欺騙或破壞手段。
本吉奧發(fā)起的非營(yíng)利組織LawZero初期獲得約3000萬美元資金支持，由十余名研究人員組成核心團(tuán)隊(duì)，本吉奧親自擔(dān)任主席。初始支持者包括生命未來研究所（Future of Life Institute）、Skype 聯(lián)合創(chuàng)始人讓·塔林（Jaan Tallinn）和谷歌前 CEO 埃里克?施密特創(chuàng)立的研究機(jī)構(gòu)施密特科學(xué)（Schmidt Sciences）等。
本吉奧表示，LawZero 的首要任務(wù)是驗(yàn)證方法論的可行性。團(tuán)隊(duì)計(jì)劃從開源 AI 模型入手，通過訓(xùn)練使 Scientist AI 逐步適應(yīng)前沿技術(shù)的發(fā)展節(jié)奏。他強(qiáng)調(diào)，“作為護(hù)欄的 AI 至少要與被監(jiān)管的 AI 智能體一樣智能”，否則將無法有效應(yīng)對(duì)快速進(jìn)化的風(fēng)險(xiǎn)。
后續(xù)階段，LawZero 將尋求企業(yè)或政府支持，推動(dòng)更強(qiáng)大版本的開發(fā)。本吉奧特別呼吁建立全球協(xié)作機(jī)制，確保 “守衛(wèi)” AI 與前沿技術(shù)同步迭代，避免出現(xiàn)監(jiān)管滯后。他警告稱，若 AI 智能體能夠在無監(jiān)督情況下完成更長(zhǎng)任務(wù)序列，可能引發(fā) “嚴(yán)重破壞”，甚至威脅人類生存。
值得注意的是，LawZero 的技術(shù)路徑與當(dāng)前主流 AI 開發(fā)存在顯著差異。傳統(tǒng) AI 系統(tǒng)通常追求性能優(yōu)化，而 LawZero 更強(qiáng)調(diào) “誠(chéng)實(shí)性” 和 “可解釋性”。這種范式轉(zhuǎn)變可能重塑 AI 研發(fā)的評(píng)價(jià)標(biāo)準(zhǔn)，推動(dòng)行業(yè)從 “能力競(jìng)賽” 轉(zhuǎn)向 “安全優(yōu)先”。
校對(duì) 盛媛媛