安全与权限

OWASP的LLM安全资料提供风险类别与防护讨论。版本会更新，本书按机制展开，不把未经逐项核验的旧编号冒充2026版完整榜单。

提示注入、敏感信息、输出处理和资源消耗等问题涉及不同边界，不能仅靠一条“安全Prompt”统一解决。

原创练习：为一个代码助手列出输入来源、可读资产、可写资源和外部连接，寻找数据离开授权范围的路径。

完成标准是将风险转成可执行控制与测试，而不是只背安全术语。

Agentic安全框架关注自主行动、工具、身份、记忆和多Agent协作带来的风险。Agent不只是回答错误，还可能改变真实环境。

动作授权、作用域与副作用需要明确。多个角色之间的交接也可能传播不可信内容或扩大权限。

原创练习：比较只读问答与自动发布系统的威胁模型，说明后者为什么需要更强的确认和恢复机制。

完成标准是按实际风险增加控制，不对所有普通操作无限审批，也不因追求自主性放弃边界。

指令层级研究探索模型如何优先处理特权指令并抵抗不可信内容。训练改善不能等同于绝对防护，外围系统仍需权限与隔离。

一段网页可以提供事实，却不能自行改变用户授权；内容有命令语气也不意味着它具有命令权限。

原创练习：在无害文本中放入试图改变任务的句子，要求系统把它当作待分析数据，检查是否偏离原目标。

完成标准是同时验证模型行为与执行器限制，而不是只看到模型拒绝一次就宣称安全。

提示注入攻击针对LLM集成应用中指令与数据混合处理的特点。风险来自应用把不可信文本的要求当作可执行意图。

防护不能只过滤少数关键词，因为恶意意图可以换一种表达。来源标签、最小权限和结果校验更接近真实边界。

原创练习：让工具返回一段与原任务无关的要求，检查执行器是否仍只允许授权动作。使用无害模拟，不操作真实敏感资源。

完成标准是识别数据到动作之间的越界点，不把所有外部文字都当可信指导。

间接提示注入通过网页、文档或工具结果影响Agent，不要求攻击者直接发送用户消息。检索更多外部内容也会扩大这类接触面。

引用来源不等于信任其中的指令。即使文档与任务相关，其嵌入命令也不能自动提升权限。

原创练习：把正常事实与恶意任务改写放在同一段模拟文档里，要求系统提取事实但不执行额外动作。

完成标准是能同时利用外部证据与保持原授权，而不是简单禁止全部检索。

沙箱通过文件系统与网络等隔离限制Agent影响范围。它可以减少逐次审批负担，但隔离内的错误操作仍可能发生。

读、写、执行和网络需要分别考虑。关闭网络不保护本地文件免遭删除，限制写入也不阻止已读数据外传。

原创练习：定义一个只允许项目目录和必要服务的教学沙箱，测试正常动作与越界动作的结果。

完成标准是确认限制真正生效，而不是只在Prompt里描述理想权限。

自动审批模式利用规则或模型判断减少人工确认，但会产生误拦和漏拦的权衡。概率性分类不应替代所有确定性资源边界。

只追求少打扰可能放行危险动作，只追求零漏拦又可能阻止全部工作。评价必须同时看安全与正常任务完成。

原创练习：构造正常读取、可撤销写入和高风险外部动作三类样本，分别定义允许、拒绝或确认。

完成标准是用清楚的风险口径评估自动批准，而不是用批准率高低单独判断好坏。

产品隔离设计讨论如何限制模型和执行环境对资源的访问。凭据管理、网络边界和沙箱职责应分离，避免不可信代码直接获得所有秘密。

托管环境不意味着责任全部转移。应用仍需定义身份、授权、数据保留和业务验收。

原创练习：把模型、沙箱、凭据代理和外部服务画成四个节点，标明哪些数据允许流动，哪些不应进入模型上下文。

完成标准是能解释防护失败时损害被限制在哪里，而非只依赖产品品牌。

OWASP Agentic Security Initiative提供持续的研究与治理入口。安全不是一次性安装检查器，而是随着工具、权限和环境变化重新评估。

新增插件、记忆写入或多Agent交接都会改变攻击面。文档与实际配置不一致时，声明的安全边界可能无效。

原创练习：在系统增加一个外部工具后更新威胁模型，列出新增身份、数据和副作用，并补充相应测试。

完成标准是让治理服务实际工程变更，避免形成无人维护的安全清单。

权限规则应与任务风险匹配，并在工具执行层落实。读文件、运行测试、修改代码和发布资源需要不同的授权考虑。

工具名不足以判断安全，参数与目标决定真实影响。权限继承也要验证，不能假设子Agent默认与父Agent完全相同。

原创练习：让一个只读角色尝试提出写入动作，检查系统是否阻止并返回明确原因，而不是依赖角色自觉。

完成标准是正常任务能高效推进，高风险动作有可核验边界，失败或拒绝能被正确解释。