實戰

Perplexity 引用造假率達三成:AI 搜尋的引用機制亮紅燈

獨立審計揭露 Perplexity 約 33% 的引用在原文中找不到對應數字,AI 搜尋的「幻覺引用」問題比想像中嚴重,引用對齊機制將成為下一波競爭關鍵。

字級

hausresearch 上週發了一份專項審計,結論相當刺眼:Perplexity 大約三分之一的引用,在原文中根本找不到對應的具體數字。

這份報告在 Hacker News 首頁停留了一段時間,獲得 32 個讚、6 則留言。對於一個方法論公開、樣本明確的小型獨立審計而言,這個討論熱度不算低。

更值得探討的不是錯誤率本身,而是錯誤的「類型」——它點出了 AI 搜尋一個被低估的結構性缺陷。

審計結果:33% 的引用對不上

hausresearch 的審計方法相當克制:他們挑選了一批包含具體數字的問題(例如「某公司 Q3 營收是多少」),讓 Perplexity 回答,再人工比對每一條引用,確認原文裡是否真的有那個數字。

樣本規模不算大(報告寫的是數百組問答對),但篩選標準很嚴格——只測「需要精確數字」的查詢,因為這正是使用者最仰賴引用的場景。

結果如下:

  • 約 33% 的引用,原文中找不到 Perplexity 給出的具體數字
  • 錯誤模式高度一致:模型給出一個看起來合理的數字,再附上一個看起來合理的來源連結,但點進去發現原文寫的是另一個數字,甚至根本沒提到這個數字

報告沒有直接對標 ChatGPT Search、Gemini 或 Grok 的引用準確率(這類橫向比較需要大量人力,獨立審計難以負擔),但從 Hacker News 留言區的討論與其他零散實測來看,這並非 Perplexity 獨有的問題——只是它被量化實錘了。

「幻覺引用」和普通幻覺不一樣

一般 LLM 幻覺大家已經見怪不怪——模型編造不存在的人名、虛構的論文、從未發生過的歷史事件。使用者知道要交叉驗證。

但「幻覺引用」是另一回事:

  • 它有 URL,點得開
  • 它有標題,看起來確實是相關來源
  • 它可能有頁碼、有段落引用,格式專業得像學術論文
  • 但原文裡就是沒有模型說的那個數字或那句話

這類幻覺更難察覺。因為使用者選擇 AI 搜尋的核心動機就是「帶引用、可驗證」——看到引用,心理上就預設已經通過了第一道驗證關。如果引用本身就是假的,等於把驗證機制整個架空。

hausresearch 報告中舉的例子(原文公開了具體問答)相當典型:Perplexity 給了一個看似權威的財報引用,但原文裡的數字是另一個值。這種錯誤不是「小數點打錯」等級的失誤,而是整個事實鏈條從源頭就斷了。

為什麼這比 ChatGPT 編故事更嚴重

用 ChatGPT 寫故事,使用者本來就不會把它當事實來源。

用 Perplexity 的使用者,就是衝著引用去的。

產品定位決定了使用者預期:Perplexity 主打「帶源、帶連結、可追溯」。UI 把引用放在每段話後面,設計上也明顯在強調「這是有依據的回答」。使用者選它而非普通 LLM,就是為了跳過手動查證這一步。

結果發現:33% 的情況下,跳過的那一步恰好是最關鍵的一步。

這不是模型能力的失敗,是產品信任的失敗。

一般 LLM 出現幻覺,使用者怪模型;AI 搜尋出現幻覺引用,使用者怪產品。當信任從「模型能不能答對」轉移到「產品能不能驗證自己」,出問題的就不只是技術,還有產品承諾。

RAG 的引用機制到底漏在哪

從工程角度來看,典型的 RAG 引用流程如下:

  1. Retrieval(召回):根據 query 從向量庫或搜尋引擎召回合適的文件片段
  2. Rerank(重排):用更精細的模型對候選片段排序,挑出最相關的
  3. Citation alignment(引用對齊):模型基於選中的片段產生回答,並標註每句話對應的引用

任何一環出錯,都會導致「幻覺引用」:

  • 召回錯:召回了主題相關但細節不符的文件,模型基於錯誤素材生成
  • 重排錯:重排模型把次相關片段排到前面,模型生成時引用了錯誤來源
  • 對齊錯:最隱蔽的一種——模型產生的句子是對的(可能確實基於某段原文),但標註的引用指向另一段。這種情況常發生在長答案、多來源混合回答時,模型在「這段話對應哪個引用」這一步出錯

hausresearch 審計發現的問題,大機率是對齊環節失敗為主、召回環節為輔。如果是對齊失敗,代表模型在「我剛才那句話是從哪來的」這個自我追溯能力上,準確率只有 67% 左右。

這不是 Perplexity 一家能單獨解決的問題——任何走 RAG + 生成路線的 AI 搜尋產品,都可能踩到同樣的坑。OpenAI 的 ChatGPT Search、Google 的 AI Overviews,大機率也有類似問題,只是沒人做過同等嚴格的獨立審計。

作為使用者,怎麼避免踩雷

短答案:別完全相信。

幾條具體建議:

  • 數字、日期、人名、引言——這些精確資訊,必須點開引用原文核對。AI 搜尋在模糊概括、主題歸納上準確率尚可,但在精確數字上幻覺率明顯更高
  • 關鍵決策場景(寫報告、投資分析、學術引用)——別把 AI 搜尋當唯一來源,至少保留一道人工核對環節
  • 多源交叉:同一個事實讓 2–3 個 AI 搜尋產品各回答一遍,比較引用是否一致。若三家都引用同一個數字,這數字大機率正確;若只有一家給出具體數字,務必提高警覺
  • 反向驗證:不只驗證引用存在,還要驗證引用是否支撐該陳述。URL 能打開不代表內容對得上

哪些情境適合用 AI 搜尋:

  • 快速了解陌生領域(主題層)
  • 找到可能的來源線索(再人工篩選)
  • 摘要長文件(前提是你信任這份文件本身)

哪些情境不該用:

  • 需要精確數字的財務、醫療、法律資訊
  • 學術寫作的引用(教授會查)
  • 任何「錯不起來」的情境

編輯觀點

這份審計報告值得認真看待,因為它把一個一直被討論卻從未被量化的現象——AI 搜尋的引用幻覺——變成了一個具體數字(33%)。

我的判斷是,引用對齊會成為 AI 搜尋賽道下一輪競爭的分水嶺。現在大家比的是「能不能回答」,下一輪會比「回答裡的引用能不能站得住」。這對 Perplexity 這種把引用當核心賣點的產品尤其致命——如果使用者不再相信引用,產品護城河就垮了。

一個反共識的觀察:這件事不會讓使用者離開 AI 搜尋,但會改變使用方式。從「我信你說的」變成「我把你當線索來源」。這對產品設計的影響可能比技術改進更深——未來的 AI 搜尋可能會更明確地區分「哪部分是模型歸納、哪部分是原文引用」,而不是現在這種混淆狀態。

不確定的地方:hausresearch 的樣本量不算大,嚴格來說 33% 這個數字的信賴區間可能偏寬。但就算實際錯誤率只有 20%,對一個主打「帶引用」的產品來說,也是不可接受的。

引用對齊這個問題,過去被歸類在 RAG 工程細節裡,沒人當回事。這次被實錘之後,各家應該會開始把它當一等公民來對待——要嘛提升對齊準確率,要嘛乾脆重新設計引用機制(例如強制要求模型在生成時把「這句話從哪來」作為獨立 token 輸出,方便後處理校驗)。


來源:hausresearch - Perplexity Citation Audit Report

來源: https://hausresearch.com/reports/perplexity-citation-audit/