Shuaidong Li 等研究者于 2026 年 11 月 3 日提交预印本,提出分层优化提取方法 ExtraHerO(Extraction with Hierarchical Optimization),用于提取大语言模型(LLM)服务的系统提示词。作者称,该方法在聊天机器人和智能体上均有提升,研究场景包括攻击者只能观察后处理输出、例如智能体动作的情况。[1]

摘要指出两项障碍:系统提示词越来越长,包含工具模式、执行逻辑和安全护栏等结构;服务也可能不向外部暴露模型的原始文本响应。ExtraHerO 使用预定义的结构模板,分层重建提示词,再根据反馈与模板之间的差异迭代调整攻击查询,并监测信息增益,以决定提前停止或重置优化过程。[1]

作者还认为,忽略结构信息的提示词保真度指标可能造成误导。他们结合全文文本相似度与结构关键词,并引入“对抗效用”(adversarial utility),衡量提取出的提示词对下游攻击有多大帮助。摘要报告,聊天机器人的保真度、功能性和对抗效用平均分别提升 12.5%、2.3% 和 6.0%;智能体对应提升 12.2%、34.3% 和 30.5%。这些均为作者报告的实验结果;保存的摘要没有说明比较基线,也没有明确这些百分比是否表示相对变化。[1]

[1]: https://arxiv.org/abs/2611.04803

来源

  1. Extracting System Prompt of LLM Services in Complex (Agentic) Settings: Hierarchical Optimization and Reliable Evaluation MetricsarXiv · 2026年11月3日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

5769dc655b8965b4004572a19a178e2f3a2bd1d2edacd69ea5a7953424da88d7