实战

Perplexity 三分之一引用是假的:AI 搜索的硬伤被实锤

独立审计扒出 Perplexity 约 33% 的引用找不到原文数字。AI 搜索的"幻觉引用"比想象中严重,RAG 引用对齐机制成下一个竞争分水岭。

字号

hausresearch 上周发了一份专项审计,结论很扎眼:Perplexity 大约 三分之一的引用,在原文中根本找不到对应的具体数字。

这份报告在 Hacker News 首页待了一阵,32 个点、6 条评论。对一个方法论公开、样本具体的小型独立审计来说,这个讨论量不算低。

更值得琢磨的不是错误率本身,而是错误的"类型"——它揭示的是 AI 搜索一个被低估的结构性短板。

审计结果:33% 的引用对不上

hausresearch 的审计方法比较克制:他们挑了一批包含具体数字的问题(比如"某公司 Q3 营收是多少"),让 Perplexity 回答,然后人工核对每一条引用,确认原文里是否真的有那个数字。

样本规模不大(报告里写的是数百条级别的问答对),但筛选标准很严格——只测那些"需要精确数字"的查询,因为这恰恰是用户最依赖引用的场景。

结果:
- 约 33% 的引用,原文中找不到 Perplexity 给出的具体数字
- 错误的模式很一致:模型给了一个看起来很合理的数字,然后给了一个看起来很合理的来源链接,但点过去发现原文要么是另一个数字,要么压根没提这个数字

报告没有直接对标 ChatGPT Search、Gemini 或 Grok 的引用准确率(做这种横向对比需要大量人力,独立审计很难承担),但从 Hacker News 评论区讨论和其他零散的实测来看,这并不是 Perplexity 独有的问题——只是它被量化实锤了。

"幻觉引用"和普通幻觉不一样

普通 LLM 幻觉大家已经见怪不怪了——模型编一个不存在的人名、编一个虚构的论文、编一个从未发生过的历史事件。用户知道要交叉验证。

但"幻觉引用"是另一种东西:

  • 它有 URL,点得开
  • 它有标题,看起来确实是相关来源
  • 它可能有页码、有段落引用,格式专业得像学术论文
  • 但原文里就是没有模型说的那个数字或那句话

这种幻觉更难发现。因为用户用 AI 搜索的核心动机就是"带引用、可验证"——用户看到引用,心理上默认已经过了第一道验证。如果引用本身就是假的,等于把验证机制架空了。

hausresearch 报告里举的例子(原文公开了具体问答)很典型:Perplexity 给了一个看起来权威的财报引用,但原文里的数字是另一个值。这种错误不是"小数点错了"那种,而是整个事实链条从源头就断了。

为什么这事比 ChatGPT 编故事更糟

用 ChatGPT 写故事,用户本来就不会把它当事实来源。

用 Perplexity 的用户,就是冲着引用去的。

产品定位决定了用户预期:Perplexity 主打的就是"带源、带链接、可追溯"。它的 UI 把引用放在每段话后面,设计上也明显在强调"这是有依据的回答"。用户选它而不是选普通 LLM,就是为了跳过手动查证这一步。

结果发现:33% 的情况下,跳过的那一步恰好是最关键的一步。

这不是模型能力的失败,是产品信任的失败。

一个普通 LLM 幻觉,用户怪模型;一个 AI 搜索的幻觉引用,用户怪产品。当信任从"模型能不能答对"转移到"产品能不能验证自己",出问题的不只是技术,还有产品承诺。

RAG 的引用机制到底漏在哪

从工程角度看,典型的 RAG 引用流程长这样:

  1. Retrieval(召回):根据 query 从向量库或搜索引擎召回数个候选文档片段
  2. Rerank(重排):用更精细的模型对候选片段排序,挑出最相关的
  3. Citation alignment(引用对齐):模型基于选中的片段生成回答,并标注每句话对应的引用

任意一环出错,都会导致"幻觉引用":

  • 召回错:召回了主题相关但细节不匹配的文档,模型基于错误素材生成
  • 重排错:重排模型把次相关片段排到前面,模型生成时引用错了来源
  • 对齐错:这是最隐蔽的一种——模型生成的句子是对的(可能确实基于某段原文),但它标注的引用指向了另一段。这通常发生在长答案、多来源混合回答时,模型在"这段话对应哪个引用"这一步出了错

hausresearch 审计发现的问题,大概率是对齐环节的失败为主、召回环节为辅。如果是对齐失败,说明模型在"我刚才那句话是从哪里来的"这个自我追溯能力上,准确率只有 67% 左右。

这不是 Perplexity 一家能单独解决的问题——任何走 RAG + 生成路线的 AI 搜索产品,都可能踩同样的坑。OpenAI 的 ChatGPT Search、Google 的 AI Overviews,大概率也有类似问题,只是没人做同样严格的独立审计而已。

作为用户,怎么避免被坑

短答案:别完全信。

几条具体建议:

  • 数字、日期、人名、引语——这些精确信息,必须点开引用原文核对。AI 搜索在模糊概括、主题归纳上准确率尚可,但在精确数字上幻觉率明显更高
  • 关键决策场景(写报告、做投资分析、学术引用)——别用 AI 搜索当唯一来源,至少要有一个人工核对环节
  • 多源交叉:同一个事实让 2-3 个 AI 搜索产品各答一遍,看它们引用是否一致。如果三个产品都引用了同一个数字,这个数字大概率是对的;如果只有一家给了具体数字,警惕
  • 反向验证:不要只验证引用存在,还要验证引用是否支持那个陈述。URL 能打开不代表内容对得上

哪些场景可以用 AI 搜索:
- 快速了解一个陌生领域(主题层)
- 找到可能的来源线索(再去人工筛)
- 总结长文档(前提是你信任这份文档本身)

哪些场景别用:
- 需要精确数字的财务、医疗、法律信息
- 学术写作的引用(教授会查)
- 任何"我不能承受错"的场景

编辑思考

这份审计报告值得认真对待,因为它把一个一直被讨论但没人量化的现象——AI 搜索的引用幻觉——变成了一个具体数字(33%)。

我的判断是,引用对齐会成为 AI 搜索赛道下一轮竞争的分水岭。现在大家比的是"能不能回答",下一轮会比"回答里的引用能不能站住"。这对 Perplexity 这种把引用当核心卖点的产品尤其致命——如果用户不再相信引用,产品护城河就塌了。

一个反共识的观察:这件事不会让用户离开 AI 搜索,但会让用户改变使用方式。从"我信你说的"变成"我用你当线索来源"。这对产品设计的影响可能比技术改进更大——未来的 AI 搜索可能会更明确地标注"哪部分是模型总结、哪部分是原文引用",而不是现在这种混淆状态。

不确定的地方:hausresearch 的样本量不算大,严格来说 33% 这个数字的置信区间可能比较宽。但即使实际错误率只有 20%,对一个主打"带引用"的产品来说,也是不能接受的。

引用对齐这个问题,过去被归到 RAG 工程细节里,没人当回事。这次实锤之后,各家应该会开始把它当一等公民来优化——要么提升对齐准确率,要么干脆重新设计引用机制(比如强制要求模型在生成时把"这句话从哪里来"作为独立 token 输出,方便后处理校验)。


来源:hausresearch - Perplexity Citation Audit Report

来源: https://hausresearch.com/reports/perplexity-citation-audit/