Open Worldwide Application Security Project (OWASP) 是一个致力于提高软件安全性的非盈利基金会。
OWASP Top 10 for Large Language Model Applications 项目旨在教育开发人员、设计师、架构师、经理和组织了解部署和管理大型语言模型 (LLM) 时的潜在安全风险。
该项目提供了 LLM 应用程序中常见的前 10 个最严重漏洞的列表，突出了它们的潜在影响、易于利用以及在实际应用程序中的普遍性：
- 1. 提示注入——使用精心设计的提示绕过过滤器或操纵 LLM，使模型忽略先前的指令或执行意外操作。
- 2. 数据泄露——通过 LLM 的回复意外泄露敏感信息、专有算法或其他机密细节。
- 3. 不充分的沙盒——当 LLM 可以访问外部资源或敏感系统时未能正确隔离它们，从而导致潜在的利用和未经授权的访问。
- 4. 未经授权的代码执行——利用LLM通过自然语言提示在底层系统上执行恶意代码、命令或动作。
- 5. SSRF 漏洞——利用 LLM 执行意外请求或访问受限资源，例如内部服务、API 或数据存储。
- 6. 过度依赖 LLM 生成的内容——在没有人为监督的情况下过度依赖 LLM 生成的内容会导致有害后果。
- 7. AI 对齐不足——未能确保 LLM 的目标和行为与预期用例一致，导致不良后果或漏洞。
- 8. 访问控制不足——没有正确实施访问控制或身份验证，允许未经授权的用户与 LLM 交互并可能利用漏洞。
- 9. 错误处理不当- 暴露可能泄露敏感信息、系统详细信息或潜在攻击向量的错误消息或调试信息。
- 10. 训练数据中毒——恶意操纵训练数据或微调程序，将漏洞或后门引入 LLM。
查看0.1 版 Top 10 列表草案以了解迄今为止已完成的工作。