吳云坤：以全生命周期安全體系守護 AI 創(chuàng)新底線
來源： 紫牛新聞
2025-11-08 21:48:00
11月8日，2025年世界互聯(lián)網(wǎng)大會烏鎮(zhèn)峰會人工智能技術(shù)創(chuàng)新與治理論壇在浙江烏鎮(zhèn)舉行。來自阿里巴巴、奇安信、SAP、快手、騰訊、思科的企業(yè)代表出席，圍繞人工智能技術(shù)創(chuàng)新與治理分享實踐經(jīng)驗、共話行業(yè)未來。
奇安信集團總裁吳云坤在《守住安全底線 保障AI創(chuàng)新發(fā)展》的主題分享中表示，安全是AI的底線和紅線，也是AI發(fā)展的基礎(chǔ)和前提，AI創(chuàng)新必須管住“框、數(shù)、人、鏈”四個關(guān)鍵環(huán)節(jié)，核心方法是系統(tǒng)性、體系化地構(gòu)建AI全生命周期的安全體系。
以奇安信自身為例，設(shè)計了AI安全治理框架，指導(dǎo)用戶圍繞“安全、合規(guī)、可控、負(fù)責(zé)任”四大目標(biāo)，從模型安全治理、數(shù)據(jù)和隱私、應(yīng)用和運營、基礎(chǔ)安全、人員與責(zé)任、持續(xù)改進六個維度，構(gòu)建覆蓋AI全生命周期的安全防護體系，同時重點管好“框、數(shù)、人、鏈”四個關(guān)鍵環(huán)節(jié)。
首先對AI應(yīng)用進行場景化防護，管好“框”和“人”。圍繞AI應(yīng)用及其場景部署大模型衛(wèi)士，構(gòu)建“管控-檢測-溯源”三位一體的防護體系，實現(xiàn)對大模型系統(tǒng)內(nèi)外部用戶訪問與交互的全流程管控，達成“管得住、看得清、防得穩(wěn)”的防護目標(biāo)。
目前，大模型衛(wèi)士已經(jīng)在政府機構(gòu)、大型央企等近百家客戶完成了驗證，能有效防御提示詞注入、敏感內(nèi)容過濾、模型對抗攻擊、模型竊取、數(shù)據(jù)泄露等多種安全風(fēng)險。
其次是對AI核心數(shù)據(jù)資產(chǎn)重點防護，管好“數(shù)”。圍繞保護核心數(shù)據(jù)資產(chǎn)，構(gòu)建“大模型安全護欄”，從“強基礎(chǔ)、控權(quán)限、審數(shù)據(jù)、攔攻擊”等多個維度構(gòu)建縱深防御與監(jiān)測能力，對大模型系統(tǒng)進行防護，控制數(shù)據(jù)安全風(fēng)險。
奇安信已投入了巨大的資源和成本訓(xùn)練安全模型，積累關(guān)鍵和核心數(shù)據(jù)資產(chǎn)，通過構(gòu)建“大模型安全護欄”，對SFT數(shù)據(jù)、標(biāo)注數(shù)據(jù)、RAG數(shù)據(jù)、模型文件、評估集等核心數(shù)據(jù)資產(chǎn)進行強化防護，守護住了模型訓(xùn)練成果。
最后是強化AI全生命周期的安全評估，管好“鏈”。秉持“安全左移”理念，將安全評估與風(fēng)險管控貫穿大模型研發(fā)、部署、運維全生命周期。在開發(fā)階段，通過代碼審計、代碼修復(fù)確保模型安全；上在線前，通過實戰(zhàn)攻防演練檢驗應(yīng)用安全；在運行中，持續(xù)監(jiān)測模型的輸出異常、數(shù)據(jù)泄露風(fēng)險確保業(yè)務(wù)安全。
今年3月，奇安信支撐某電信運營商進行了大模型底座的安全評估，成功發(fā)現(xiàn)并修復(fù)了其大模型存在的多個系統(tǒng)漏洞和內(nèi)容防護機制缺陷，將隱患扼殺于萌芽狀態(tài)。
據(jù)悉，本次論壇由中央網(wǎng)信辦網(wǎng)絡(luò)管理技術(shù)局發(fā)起，中國科學(xué)院、中關(guān)村實驗室主辦，中國科學(xué)院計算技術(shù)研究所、中國網(wǎng)絡(luò)空間安全協(xié)會、百度公司協(xié)辦。
佳佳 曉風(fēng)
校對 朱亞萍