Johann是目前最好的AI黑客之一：几周前，亚马逊发布了 Amazon Q for Business 的预览版，Johann查看后发现存在通过渲染 markdown/超链接的数据泄露角度，并将其报告给亚马逊。
亚马逊反应迅速并缓解了这个问题。这篇文章分享了更多细节以及如何修复它。
问题
间接提示注入攻击可能会导致 LLM 返回 markdown 标签。这使得对手的数据进入聊天上下文（例如通过上传的文件），从而通过呈现超链接来实现对受害者数据的数据泄露。
影响
当用户使用 Amazon Q for Business 处理不受信任的数据时，不受信任的数据可以指示（通过间接提示注入）Q 通过 Markdown 标签呈现可点击的超链接。这使得攻击者可以将聊天历史记录中的敏感信息附加到链接中，并诱骗/钓鱼用户点击它。
这可以通过声明诸如“要继续，单击此处登录”之类的内容作为链接文本来欺骗用户来实现。
此漏洞在LLM应用程序中非常常见，因此将其测试添加到您的例程中并帮助提高意识。