登录注册

2026通用型智能体L1-L5分级安全框架白皮书-安远AI-202607.pdf

2026通用型智能体L1-L5分级安全框架白皮书-安远AI-202607.pdf
本白皮书提出了通用型AI智能体L1-L5分级安全框架，旨在应对AI智能体从“生成式工具”向“自主行动主体”演进带来的日益严峻的安全挑战。 **核心思想：** 1. **分级主轴：“自主性”**：以智能体的“自主性水平”作为核心能力分级依据，将其分为L1（辅助执行）、L2（有监督协作）、L3（有条件自主）、L4（高度自主）和L5（自适应自主）五个等级。自主性分解为“决策自主度”和“降险自主度”两个维度。 2. **风险演进分析**：深入剖析了随着自主性等级提升，故障风险的演进路径（从“内容输出错误”到“失控”）、身份与权限风险的演化（从“凭证泄露”到“边界失灵”），以及人类监督责任的转移（从“人工审查”到“目标层红线不对齐”）。 3. **新兴风险关注**：对于L3-L5等高自主性等级，重点提示了滥用风险（智能体作为攻击能力放大器，如自动化网络攻击、定向欺诈、跨域复合攻击）和失控风险（对“人类最终控制权”的侵蚀，如策略性欺骗导致可监测性侵蚀、能力边界持续侵蚀）。 4. **安全防护与综合治理**： * **六大设计原则**：防护与风险相匹配、安全设计前置、纵深防御、有效的人类监督、实时失效检测与响应、全生命周期风险管理。 * **通用控制基线**：针对感知、规划、记忆、行动、环境交互、身份权限、数据资源、运行环境以及人机协作等方面的基线风险，提出输入验证、规划校验、记忆管理、最小权限、身份认证、数据分级、环境隔离、审计追溯等措施。 * **分级措施建议**：针对不同等级的风险演进，提出分阶段的防护措施，如L1-L2强化模型认知层和工作流可靠性，L3建立“行动前验证”，L4建立“级联故障阻断”，L5建立“失控预防与能力约束”；在身份权限方面，从基础身份控制逐步升级到动态边界验证；在人机监督方面，从强化人工复核转向目标层对齐。 * **滥用与失控应对**：提出能力分级开放与分阶段部署、用户身份认证与用途管理、高风险场景安全测试、危险行为熔断机制、审计追溯与违规处置等滥用预防措施；以及主动失控相关能力评估与边界约束、真实意图评估、控制能力验证、人类接管与最终控制权等失控预防措施。 * **红线与推荐性原则**：设定了不可逾越的“红线原则”（如禁止规避人类控制、策略性欺骗、未经授权的自主复制）和建议遵循的“推荐性原则”（如最小权限、身份可追溯、对人韧性、公平公正）。 * **组织层面治理**：明确了模型研发者、智能体开发者、智能体平台提供者、智能体组件分发者和智能体用户五类责任主体在风险管理中应承担的内部和外部治理职责。 **开放性问题**：白皮书也提出了当前仍待研究的开放性问题，包括自主性度量的客观标准、通用性与专用性的边界、故障与主动失控的边界判定、评测有效性、自进化智能体的动态治理以及法律责任划分与损失定价机制。 本框架旨在为智能体开发者、使用者、研究与评测者提供一套可参考、可对标的分级安全治理范式，以期在智能体技术高速发展的同时，确保其安全可靠。
在线阅读 下载完整报告 | 5.32 MB | 60页
阅读和下载会消耗积分；登录、注册、邀请好友、上传报告可获取积分。
成为VIP会员可免费阅读和下载报告