观点

LLM 输出为何难懂:AI Agent 可理解性实战

围绕 arXiv 论文与 Hacker News 热议,拆解 LLM 输出难懂的原因,并给出适用于 AI Agent 的可理解性验收清单。

字号

最近,Hacker News 首页出现一篇 arXiv 论文《Why is AI generated language so hard to understand?》。讨论帖拿到 118 points 和 109 条评论。

论文追问:为什么 AI 写出的文字语法正确、信息齐全,人类却更难读懂?这对 AI Agent 的输出验收尤其重要。

论文原文:https://arxiv.org/abs/2610.29162

Hacker News 讨论:https://news.ycombinator.com/item?id=50223647

118 分讨论背后的真问题

过去评测 LLM 输出,常问两件事:

  • 事实是否正确?
  • 信息是否完整?

这篇论文把问题往前推了一层:文本即使语法正确、事实无误、该说的都说了,人为什么还是读不懂?

这不是要求 AI 少写,而是要求 AI 把信息组织成人类能快速处理的形式。可理解性也不该只是事实正确性的附属指标。

一个答案全错的研究摘要,至少很容易发现。一个答案基本正确、却让用户读三遍才找到行动项的报告,反而可能造成更隐蔽的损失。

难懂不等于信息不足

AI 文本常见的问题,不是内容少,而是内容堆得太满。

典型例子:

在当前快速发展的技术环境中,生成式 AI 正在深刻改变内容创作与知识工作的方式。为了充分释放其潜力,组织需要建立系统化的工作流程,同时关注数据治理、模型评估与伦理安全等关键维度。

这段话几乎没有明显错字。主题也齐全。但读者读完不知道:

  • 核心结论是什么?
  • 哪条建议优先做?
  • “关键维度”具体指什么?
  • 下一步该由谁执行?

句子承担了太多前置成分。抽象名词连续出现。结论被埋在铺垫里。用户还要负责从文本中恢复结构。

从认知角度看,阅读不只是接收信息,还包括工作记忆分配、因果关系梳理和决策线索提取。AI 输出增加一个限定词、一个免责声明、一段历史背景,都可能让读者多维护一个待处理对象。

所以,“信息更多”常常意味着:

  1. 重要结论不够突出。
  2. 层级之间的权重不清。
  3. 句子和句子的关系需要读者自己补。
  4. 下一步行动与背景说明混在一起。

内容密度低,不等于读者获得的信息少。它只是把整理信息的成本转嫁给了用户。

模型在优化什么

LLM 的训练目标首先是预测下一个 token,不是替用户整理行动优先级。

不同训练阶段会进一步奖励什么?大体是稳定、可预测的文本分布。常见语料中的正式文章、说明文档、问答、摘要,本身就有很强的格式惯性:

  • 开头先交代背景。
  • 每一点都尽量说得完整。
  • 用转折连接不同部分。
  • 少做尖锐取舍,多做谨慎覆盖。

生成时,模型还会结合上下文补全“像答案的句子”。于是容易出现一种特殊情况:每一句都合理,整篇却缺少明确方向。

这也是流畅度评测的盲区。

连贯、完整、覆盖面广,是生成质量的一部分。但它们不等于适合快速理解,更不等于适合操作。

对普通聊天用户来说,答案可读,可能只是“愿意继续读”。对 AI Agent 来说,标准更硬:另一个程序或人必须能据此检查状态、定位失败、决定下一步。

可理解性至少可以从三个层面拆解:

层面 常见问题 更合适的检查
生成机制 追求概率上自然、完整的回答 是否先给结论,异常是否明确暴露
文本组织 背景、过程、结论权重接近 是否分层,能否扫读后复述主线
人类认知 读者必须自己恢复结构 是否减少记忆负担,支持判断和行动

三层缺一不可。

只改措辞,可以降低表面阅读难度,却保留结构问题。只让模型少说,又可能删掉必要条件。真正的修复要落在信息架构上。

给 AI Agent 换一套验收表

在 AI Agent 场景里,“可理解”不该停留在文案评分。它可以直接变成工程验收项。

1. 首屏是否给出结论

Agent 输出不应要求用户先读完整篇才能知道发生了什么。

例如,运行一次排障任务,理想首屏是:

失败原因:DATABASE_URL 指向错误主机。重试 2 次均失败。建议切换到 DATABASE_URL_PROD 后重跑;该变量尚未配置。

不必先写“本次任务涉及数据库连接、网络解析和权限验证等多个环节”。

评测可以检查:

  • 状态是否出现在前 3 行。
  • 是否明确写出成功或失败。
  • 是否给出可执行的下一步。

2. 步骤能否追踪

Agent 会调用搜索、浏览器、数据库、代码执行器等工具。用户需要知道它做过什么,而不只是看到最终答案。

可追踪不等于暴露所有内部思考。更有用的是外部可验证的事件记录:

  • 调用了哪个工具。
  • 输入了什么关键参数。
  • 返回了什么结果。
  • 哪一步改变了计划。

像 Git 提交记录或 CI 日志一样,Agent 输出应允许用户定位失败位置。

3. 工具调用能否解释

一个工具调用可能技术上成功,业务上却失败。

例如:

result = search_orders(customer_id="C-1042")

这只能说明调用发生。更有用的说明是:

result = search_orders(customer_id="C-1042")
# 用途:确认订单是否已发货
# 限制:接口只返回近 30 天订单,未覆盖 2025 年历史记录

解释应服务于复核,不必替用户写长篇教程。

4. 按角色调整信息密度

同一份结果,开发者、值班工程师和管理者需要的信息不同。

  • 开发者关心错误栈、参数差异和复现步骤。
  • 值班工程师关心影响范围、当前状态和恢复动作。
  • 管理者关心风险、成本和决策节点。

因此,验收表不能只设一个“简洁度”分数。更实际的做法是按任务角色定义必答项,再检查信息是否按优先级出现。

我更倾向于把 Agent 输出验收拆成四个硬指标:

  1. Conclusion latency:首屏多少内容后出现最终结论。
  2. Trace completeness:关键步骤能否定位输入、输出与分支变化。
  3. Actionability:用户能否不追问就执行下一步。
  4. Role fit:关键信息是否符合接收角色的决策需要。

这些指标仍不完美,但比“3 分简洁、5 分完整”更接近真实使用。

编辑思考

可理解性可能比事实正确性更靠近用户的主观感受。事实错误通常会触发质疑,冗长和层级混乱却只会让人慢下来。用户未必能说清哪里不好,最后只会评价“没看明白”。

这次的讨论与过去的文本生成评测不同。过去重点是模型有没有答对,生成内容有没有覆盖问题;这次把阅读过程本身当成了被测对象。可理解性不是把答案改短,而是检查模型是否替用户完成了信息组织。

对 AI Agent 来说,这个转向尤其重要。Agent 的价值不只在于调用正确工具,还在于让状态、证据和下一步动作能够被人或下游程序理解。论文是否提出适用于所有任务的统一方法,我现在还不确定;但首屏结论、步骤追踪、工具解释和角色适配,已经足够成为一套可执行的验收清单。

来源: https://arxiv.org/abs/2610.29162