浙江大学人工智能教育教学研究中心 中心 智能教育教学研究中心 大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研 浙江大学人工智能教 浙 攻防对抗 隐私保护 多模态 幻觉问题 可解释性 价值对齐 人工智能 面临的挑战 合规伦理 算法共振 郑小林，浙江大学人工智能研究所，2025.3.16 新一代人工智能面临的挑战 浙江大学人工智能教育教学研究中心

营体系，为我省电子政务外网提供了全方位、多层次的安全保障。 项目组建一支涵盖运营管理、安全服务与安全监测等职能的 16 人实战型团队，通过 7×24 小时常态化值守、重大活动专项保障及常 态化攻防演练，系统构建了人员在威胁研判、应急响应、协同处置等 方面的实战能力。团队在跨部门协作、流程优化与资源调度中持续沉 淀标准化作业经验，形成高效协同、闭环管理的安全运营机制。 安全保障体系的建 建设，形成长效化安全运营机制。建立专业化安全运营体系，明确漏 洞修复、事件响应等服务标准，形成可量化、可考核的运行机制。通 过安全月报、威胁情报简报、风险评估等制度化手段推动持续改进； 通过攻防演练、安全培训等方式提升全委安全意识和应急处置能力， 使安全成为数字底座的内生能力。 来源：案例申报单位 图 安全一体化业务逻辑图 数字政府建设发展研究报告（2025 年） 数字政府建设发展研究报告（2025 年） 151 较传统模式有效提高，实现从“被动处置”到“主动预防”的转型。 率先打造“多场景适配安全防护”体系。融合智能漏洞扫描、动态特 征库升级、智能攻防演练等功能，针对不同政务场景定制差异化安全 策略，实现网络安全、数据安全的全时段智能防御，筑牢政务运行安 全屏障。 资源配置更趋合理。成功打破传统分散运维形成的资源壁垒，通 过搭建全域统一

用户交互系统建设解决方案 2. 用户交互系统建设解决方案 传统交互系统面临难以准确识别基于 AIGC 造假材料，“小红花”借用 AI 大模型 技术针对用户信息进行篡改检测、图像溯源，集合视觉、行为、推理、攻防等一体的 多维智能防御系统支持 25 种伪造欺诈手法识别，以 AI 对抗 AI，有效识别拦截虚假证书， 验真准确率达 92%。同时解决服务内容及人群覆盖面有限，许多行业贷款申请和额度 调整等环 新兴攻击导致防御滞后 黑产攻击手法不断演进，通过提示词注入、多模态复合攻击、模型投毒等方式规 避传统检测机制，形成安全“空窗期”。传统规则库更新周期长，对新型攻击变体覆 盖不足，难以及时响应快速变化的威胁，攻防态势长期处于被动。 面对上述痛点与挑战，公司迫切需要建设一套集内容安全、模型安全以及多模态 安全于一体的 AI 安全防护平台，实现对生成式 AI 调用行为链路中的模型安全防护、 多模态识别以及