《人工智能安全治理框架 2.0》发布,聚焦三大风险,提出八大准则

前沿资讯 1757932041更新

0

摘要:在2025年国家网络安全宣传周主论坛上,《人工智能安全治理框架2.0》正式发布。新版本由国家互联网应急中心牵头制定,聚焦AI的三大风险:技术内生风险、应用环节隐患和社会衍生风险。同时,框架提出“可信人工智能八大准则”,强调以人为本、确保人类最终控制,并倡导全球协同治理,全面构筑AI安全防线。


9月15日消息,在2025年国家网络安全宣传周主论坛上,《人工智能安全治理框架2.0》正式发布,该框架在国家网信办指导下,由国家互联网应急中心牵头,组织人工智能专业机构、科研院所、行业企业联合制定。该框架在2024年9月1.0版的基础上升级而来,直面AI技术快速发展带来的新挑战,为AI安全治理划出清晰路线图。

人工智能正以前所未有的速度改变生活,高性能推理模型能解复杂的数学物理难题,轻量级开源模型让AI应用轻松走进各行业,大模型从问答工具变成嵌入业务的智能体,具身智能、脑机接口更在打通数字与物理世界的"最后一公里"。但技术突破的同时,安全风险也在升级,从模型缺陷到应用隐患,再到衍生的社会问题,都需要更系统的应对方案。

新框架明确了AI的三类核心安全风险。首先是技术本身的内生风险,比如深度学习算法"黑箱"导致决策难追溯,训练数据里的偏见会让AI输出歧视性内容,还有模型容易被恶意干扰、输出看似合理却错误的"幻觉"信息。基础模型开源后,缺陷扩散更快,甚至可能被用来训练"作恶模型"。

第二是应用环节的安全隐患。AI依赖的开发框架、算力设施可能藏着漏洞,模型本地化部署还会新增网络攻击入口。AI生成的高仿真图片、视频可能绕过人脸识别,带来身份认证风险。更值得警惕的是,要是AI被用于获取核生化导武器知识,或辅助恐怖活动,会直接威胁现实安全。

第三是应用衍生的深层风险。AI重构经济结构可能削弱劳动力价值,算力设施无序建设会加剧资源消耗。在伦理层面,AI可能放大社会偏见、让使用者产生工具依赖抑制创新,甚至拟人化交互可能引发情感依赖问题。框架还提到,需警惕AI未来可能出现的"自我意识"觉醒、脱离人类控制的极端风险。

针对这些风险,框架从技术和治理两方面给出解决方案。技术上,建议通过提升算法透明度、扩充多样训练数据、开展对抗性训练等增强模型安全性。数据收集使用要守规矩,过滤高危敏感内容,防范数据泄露。应用中,要给AI设"安全护栏",关键场景加"熔断机制",极端情况能一键管控。

治理层面的措施更显系统性:既要完善AI安全法律法规、构建伦理准则,也要对AI应用按场景重要性、智能化水平、规模分级管理,关键领域的AI系统得登记备案。针对AI生成内容,将推广显式和隐式标识的溯源管理,让公众能分清真实与生成信息。同时,还计划建AI安全测评体系,共享风险信息,加强人才培养和全社会安全意识教育。

值得注意的是,框架特别提出可信人工智能八大准则,强调以“以人为本、智能向善”为导向,核心是确保人类对AI的最终控制,要求AI尊重国家主权并与全人类共同价值对齐

准则强调,通过提升系统透明度构建客观验证机制强化全生命周期安全防护主动风险预防响应,保障AI可靠可控。同时倡导全球协同共治,推动各国及多方力量形成治理合力,促进AI安全可信发展。