hausresearch 上週發了一份專項審計,結論相當刺眼:Perplexity 大約三分之一的引用,在原文中根本找不到對應的具體數字。
這份報告在 Hacker News 首頁停留了一段時間,獲得 32 個讚、6 則留言。對於一個方法論公開、樣本明確的小型獨立審計而言,這個討論熱度不算低。
更值得探討的不是錯誤率本身,而是錯誤的「類型」——它點出了 AI 搜尋一個被低估的結構性缺陷。
審計結果:33% 的引用對不上
hausresearch 的審計方法相當克制:他們挑選了一批包含具體數字的問題(例如「某公司 Q3 營收是多少」),讓 Perplexity 回答,再人工比對每一條引用,確認原文裡是否真的有那個數字。
樣本規模不算大(報告寫的是數百組問答對),但篩選標準很嚴格——只測「需要精確數字」的查詢,因為這正是使用者最仰賴引用的場景。
結果如下:
- 約 33% 的引用,原文中找不到 Perplexity 給出的具體數字
- 錯誤模式高度一致:模型給出一個看起來合理的數字,再附上一個看起來合理的來源連結,但點進去發現原文寫的是另一個數字,甚至根本沒提到這個數字
報告沒有直接對標 ChatGPT Search、Gemini 或 Grok 的引用準確率(這類橫向比較需要大量人力,獨立審計難以負擔),但從 Hacker News 留言區的討論與其他零散實測來看,這並非 Perplexity 獨有的問題——只是它被量化實錘了。
「幻覺引用」和普通幻覺不一樣
一般 LLM 幻覺大家已經見怪不怪——模型編造不存在的人名、虛構的論文、從未發生過的歷史事件。使用者知道要交叉驗證。
但「幻覺引用」是另一回事:
- 它有 URL,點得開
- 它有標題,看起來確實是相關來源
- 它可能有頁碼、有段落引用,格式專業得像學術論文
- 但原文裡就是沒有模型說的那個數字或那句話
這類幻覺更難察覺。因為使用者選擇 AI 搜尋的核心動機就是「帶引用、可驗證」——看到引用,心理上就預設已經通過了第一道驗證關。如果引用本身就是假的,等於把驗證機制整個架空。
hausresearch 報告中舉的例子(原文公開了具體問答)相當典型:Perplexity 給了一個看似權威的財報引用,但原文裡的數字是另一個值。這種錯誤不是「小數點打錯」等級的失誤,而是整個事實鏈條從源頭就斷了。
為什麼這比 ChatGPT 編故事更嚴重
用 ChatGPT 寫故事,使用者本來就不會把它當事實來源。
用 Perplexity 的使用者,就是衝著引用去的。
產品定位決定了使用者預期:Perplexity 主打「帶源、帶連結、可追溯」。UI 把引用放在每段話後面,設計上也明顯在強調「這是有依據的回答」。使用者選它而非普通 LLM,就是為了跳過手動查證這一步。
結果發現:33% 的情況下,跳過的那一步恰好是最關鍵的一步。
這不是模型能力的失敗,是產品信任的失敗。
一般 LLM 出現幻覺,使用者怪模型;AI 搜尋出現幻覺引用,使用者怪產品。當信任從「模型能不能答對」轉移到「產品能不能驗證自己」,出問題的就不只是技術,還有產品承諾。
RAG 的引用機制到底漏在哪
從工程角度來看,典型的 RAG 引用流程如下:
- Retrieval(召回):根據 query 從向量庫或搜尋引擎召回合適的文件片段
- Rerank(重排):用更精細的模型對候選片段排序,挑出最相關的
- Citation alignment(引用對齊):模型基於選中的片段產生回答,並標註每句話對應的引用
任何一環出錯,都會導致「幻覺引用」:
- 召回錯:召回了主題相關但細節不符的文件,模型基於錯誤素材生成
- 重排錯:重排模型把次相關片段排到前面,模型生成時引用了錯誤來源
- 對齊錯:最隱蔽的一種——模型產生的句子是對的(可能確實基於某段原文),但標註的引用指向另一段。這種情況常發生在長答案、多來源混合回答時,模型在「這段話對應哪個引用」這一步出錯
hausresearch 審計發現的問題,大機率是對齊環節失敗為主、召回環節為輔。如果是對齊失敗,代表模型在「我剛才那句話是從哪來的」這個自我追溯能力上,準確率只有 67% 左右。
這不是 Perplexity 一家能單獨解決的問題——任何走 RAG + 生成路線的 AI 搜尋產品,都可能踩到同樣的坑。OpenAI 的 ChatGPT Search、Google 的 AI Overviews,大機率也有類似問題,只是沒人做過同等嚴格的獨立審計。
作為使用者,怎麼避免踩雷
短答案:別完全相信。
幾條具體建議:
- 數字、日期、人名、引言——這些精確資訊,必須點開引用原文核對。AI 搜尋在模糊概括、主題歸納上準確率尚可,但在精確數字上幻覺率明顯更高
- 關鍵決策場景(寫報告、投資分析、學術引用)——別把 AI 搜尋當唯一來源,至少保留一道人工核對環節
- 多源交叉:同一個事實讓 2–3 個 AI 搜尋產品各回答一遍,比較引用是否一致。若三家都引用同一個數字,這數字大機率正確;若只有一家給出具體數字,務必提高警覺
- 反向驗證:不只驗證引用存在,還要驗證引用是否支撐該陳述。URL 能打開不代表內容對得上
哪些情境適合用 AI 搜尋:
- 快速了解陌生領域(主題層)
- 找到可能的來源線索(再人工篩選)
- 摘要長文件(前提是你信任這份文件本身)
哪些情境不該用:
- 需要精確數字的財務、醫療、法律資訊
- 學術寫作的引用(教授會查)
- 任何「錯不起來」的情境
編輯觀點
這份審計報告值得認真看待,因為它把一個一直被討論卻從未被量化的現象——AI 搜尋的引用幻覺——變成了一個具體數字(33%)。
我的判斷是,引用對齊會成為 AI 搜尋賽道下一輪競爭的分水嶺。現在大家比的是「能不能回答」,下一輪會比「回答裡的引用能不能站得住」。這對 Perplexity 這種把引用當核心賣點的產品尤其致命——如果使用者不再相信引用,產品護城河就垮了。
一個反共識的觀察:這件事不會讓使用者離開 AI 搜尋,但會改變使用方式。從「我信你說的」變成「我把你當線索來源」。這對產品設計的影響可能比技術改進更深——未來的 AI 搜尋可能會更明確地區分「哪部分是模型歸納、哪部分是原文引用」,而不是現在這種混淆狀態。
不確定的地方:hausresearch 的樣本量不算大,嚴格來說 33% 這個數字的信賴區間可能偏寬。但就算實際錯誤率只有 20%,對一個主打「帶引用」的產品來說,也是不可接受的。
引用對齊這個問題,過去被歸類在 RAG 工程細節裡,沒人當回事。這次被實錘之後,各家應該會開始把它當一等公民來對待——要嘛提升對齊準確率,要嘛乾脆重新設計引用機制(例如強制要求模型在生成時把「這句話從哪來」作為獨立 token 輸出,方便後處理校驗)。