Shuaidong Li 等研究者于 2026 年 11 月 3 日提交预印本,提出分层优化提取方法 ExtraHerO(Extraction with Hierarchical Optimization),用于提取大语言模型(LLM)服务的系统提示词。作者称,该方法在聊天机器人和智能体上均有提升,研究场景包括攻击者只能观察后处理输出、例如智能体动作的情况。[1]
摘要指出两项障碍:系统提示词越来越长,包含工具模式、执行逻辑和安全护栏等结构;服务也可能不向外部暴露模型的原始文本响应。ExtraHerO 使用预定义的结构模板,分层重建提示词,再根据反馈与模板之间的差异迭代调整攻击查询,并监测信息增益,以决定提前停止或重置优化过程。[1]
作者还认为,忽略结构信息的提示词保真度指标可能造成误导。他们结合全文文本相似度与结构关键词,并引入“对抗效用”(adversarial utility),衡量提取出的提示词对下游攻击有多大帮助。摘要报告,聊天机器人的保真度、功能性和对抗效用平均分别提升 12.5%、2.3% 和 6.0%;智能体对应提升 12.2%、34.3% 和 30.5%。这些均为作者报告的实验结果;保存的摘要没有说明比较基线,也没有明确这些百分比是否表示相对变化。[1]
[1]: https://arxiv.org/abs/2611.04803
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策