감사 결과: 인용의 33%가 원문과 불일치
hausresearch가 지난주 공개한专项 감사의 결론은 자극적이다. Perplexity의 인용 중 약 3분의 1은 원문에서 해당 숫자를 전혀 찾을 수 없다.
이 보고서는 Hacker News 메인에 일정 시간 머물며 32포인트, 6개의 댓글을 모았다. 방법론을 공개하고 구체적인 샘플을 제시한 소규모 독립 감사치고는 나쁘지 않은 논의량이다.
더 깊이 생각해볼 부분은 오류율 자체가 아니라 오류의 '유형'이다. 이것은 AI 검색이 가진 과소평가된 구조적 약점을 드러낸다.
감사 결과: 33% 인용 불일치
hausresearch의 감사 방식은 상당히 신중했다. 구체적인 숫자가 포함된 질문들(예: "어느 회사의 3분기 매출은 얼마인가")을 선정해 Perplexity에 응답하게 한 뒤, 각 인용을 수동으로 대조해 원문에 실제로 그 숫자가 있는지 확인했다.
샘플 규모는 크지 않지만(보고서 기준 수백 건 수준의 Q&A 쌍), 선정 기준은 엄격했다. '정확한 숫자가 필요한' 질의만 테스트한 것이다. 바로 그 지점에서 사용자가 인용에 가장 의존하기 때문이다.
결과는 다음과 같다.
- 인용의 약 33%에서, Perplexity가 제시한 구체적 숫자를 원문에서 찾을 수 없다
- 오류 패턴이 일관적이다. 모델이 그럴듯한 숫자를 제시하고 그럴듯한 출처 링크를 달았지만, 클릭해 보면 원문에는 다른 숫자가 있거나 해당 숫자가 아예 언급되지 않은 경우다
보고서는 ChatGPT Search, Gemini, Grok의 인용 정확도와 직접 비교하지 않았다(횡단 비교에는 대규모 인력이 필요해 독립 감사가 감당하기 어렵다). 하지만 Hacker News 댓글 논의와 기타 실측 결과들을 종합하면, 이 문제는 Perplexity만의 것이 아니다. 단지 Perplexity가 정량적으로 입증된 것뿐이다.
"환각 인용"은 일반 환각과 다르다
일반 LLM 환각은 이미 익숙한 현상이다. 모델이 존재하지 않는 인물을 만들어내고, 허구 논문을 지어내고, 일어나지 않은 역사적 사건을 창작한다. 사용자는 교차 검증을 해야 한다는 것을 안다.
그러나 "환각 인용"은 차원이 다르다.
- URL이 있고, 클릭하면 열린다
- 제목이 있어 실제로 관련 출처로 보인다
- 페이지 번호와 단락 인용이 포함되어 있어 학술 논문처럼 전문적이다
- 하지만 원문에는 모델이 말한 그 숫자나 문장이 없다
이런 환각은 발견하기 훨씬 어렵다. AI 검색을 사용하는 핵심 동기 자체가 "인용이 붙어 있어 검증 가능하다"는 것이기 때문이다. 사용자가 인용을 보면 심리적으로 첫 번째 검증을 통과한 것으로 느낀다. 만약 인용 자체가 가짜라면, 검증 메커니즘이 무력화된다.
hausresearch 보고서의 예시(원문에 구체적 Q&A가 공개됨)는 전형적이다. Perplexity가 권위 있어 보이는 재무제표 인용을 제시했지만, 원문의 숫자는 다른 값이었다. 이런 오류는 "소수점을 잘못 찍었다" 정도가 아니라, 사실 관계의 사슬이 처음부터 끊긴 경우다.
왜 이 문제가 ChatGPT의 허구 창작보다 더 심각한가
ChatGPT로 이야기를 쓸 때, 사용자는 애초에 사실 출처로 여기지 않는다.
Perplexity 사용자는 인용 때문에 그 서비스를 선택한다.
제품 포지셔닝이 사용자 기대를 결정한다. Perplexity의 핵심 셀링 포인트는 "출처 포함, 링크 포함, 추적 가능"이다. UI에서도 인용을 각 문단 뒤에 배치해 "근거 있는 답변"임을 강조한다. 수동 확인 과정을 건너뛰기 위해 사용자는 일반 LLM 대신 Perplexity를 선택한다.
결과적으로 33%의 경우에, 건너뛴 그 단계가 바로 가장 결정적인 단계였다.
이것은 모델 능력의 실패가 아니라 제품 신뢰의 실패다.
일반 LLM 환각에 대해서는 사용자가 모델을 탓한다. AI 검색의 환각 인용에 대해서는 사용자가 제품을 탓한다. 신뢰의 초점이 "모델이 맞게 답할 수 있는가"에서 "제품이 스스로를 검증할 수 있는가"로 이동하면, 문제가 되는 영역은 기술뿐 아니라 제품이 약속한 가치다.
RAG 인용 메커니즘의 실질적 누락 지점
엔지니어링 관점에서 전형적인 RAG 인용 파이프라인은 다음과 같다.
- Retrieval(검색): 쿼리에 따라 벡터 DB나 검색 엔진에서 후보 문서 조각을 검색
- Rerank(재정렬): 더 정교한 모델로 후보 조각의 순위를 매겨 가장 관련 높은 것을 선정
- Citation alignment(인용 정렬): 선정된 조각을 기반으로 모델이 답변을 생성하고, 각 문장에 해당하는 인용을 표기
어느 단계든 실패하면 "환각 인용"으로 이어진다.
- 검색 실패: 주제는 관련 있지만 세부 내용이 맞지 않는 문서를 검색해, 모델이 잘못된 소재를 기반으로 생성
- 재정렬 실패: 재정렬 모델이 덜 관련성 높은 조각을 상위로 올려, 모델이 잘못된 출처를 인용
- 정렬 실패: 가장 교묘한 유형이다. 모델이 생성한 문장은 맞다(특정 원문 조각에 실제로 기반했을 수 있음), 하지만 표기한 인용이 다른 조각을 가리킨다. 긴 답변, 다중 출처 혼합 답변에서 흔히 발생하며, 모델이 "이 문장은 어느 인용에 해당하는가"라는 단계에서 실수한다
hausresearch 감사가 발견한 문제는 대부분 정렬 단계의 실패가 주된 원인이며, 검색 단계의 실패가 보조적일 가능성이 크다. 정렬 실패라면, 모델의 "내가 방금 말한 그 문장은 어디에서 왔는가"라는 자기追溯 능력이 약 67%에 불과하다는 의미다.
이 문제는 Perplexity 단독으로 해결할 수 없다. RAG + 생성 방식을 채택한 모든 AI 검색 제품이 동일한 함정에 빠질 수 있다. OpenAI의 ChatGPT Search와 Google의 AI Overviews도 비슷한 문제를 안고 있을 가능성이 높다. 단지 동일한 수준의 엄격한 독립 감사가 이루어지지 않았을 뿐이다.
사용자로서 피하는 법
짧은 답: 완전히 믿지 마라.
구체적 조언 몇 가지.
- 숫자, 날짜, 인명, 인용구 같은 정밀 정보는 **반드시** 원문 인용을 클릭해 대조해야 한다. AI 검색은 모호한 요약과 주제 정리에서는 정확도가 나쁘지 않지만, 정밀 숫자에서는 환각률이 눈에 띄게 높다
- 중요 의사결정 시나리오(보고서 작성, 투자 분석, 학술 인용)에서는 AI 검색을 유일한 출처로 사용하지 말고, 최소한 수동 확인 단계를 포함시켜야 한다
- 다중 출처 교차 검증: 동일한 사실을 2~3개의 AI 검색 제품에 각각 답하게 한 뒤, 인용이 일치하는지 확인한다. 세 제품 모두 동일한 숫자를 인용한다면 그 숫자는大概率 맞다. 단일 제품만 구체적 숫자를 제시했다면 경계해야 한다
- 역방향 검증: 인용이 존재하는지만 확인하지 말고, 인용이 그 진술을 실제로 뒷받침하는지 검증해야 한다. URL이 열린다고 내용이 맞는 것은 아니다
AI 검색을 활용해도 좋은 시나리오.
- 생소한 분야를 빠르게 파악(주제 레벨)
- 가능한 출처 단서 발굴(그 후 수동으로 선별)
- 긴 문서 요약(해당 문서 자체를 신뢰한다는 전제 하에)
사용을 피해야 할 시나리오.
- 정밀 숫자가 필요한 재무, 의료, 법률 정보
- 학술 글쓰기의 인용(교수가 확인한다)
- 어떤 실수도 용납할 수 없는 모든 상황
편집자 소견
이 감사가 가치가 있는 이유는, 오랫동안 논의만 되고 정량화되지 않았던 현상—AI 검색의 인용 환각—을 구체적 숫자(33%)로 만들었다는 점이다.
내 판단은, 인용 정렬이 AI 검색 트랙의 다음 경쟁 분수령이 될 것이다. 현재의 경쟁 축은 "답변할 수 있는가"이고, 다음 축은 "답변 안의 인용이 버틸 수 있는가"가 될 것이다. 이것은 인용을 핵심 셀링 포인트로 삼는 Perplexity에 특히 치명적이다. 사용자가 더 이상 인용을 신뢰하지 않으면, 제품의 해자 자체가 무너진다.
반합의적 관찰 하나. 이 사건은 사용자가 AI 검색을 떠나게 하지는 않겠지만, 사용 방식은 바꾸게 할 것이다. "네 말을 믿겠다"에서 "너를 단서 출처로 쓰겠다"로의 전환이다. 이것이 제품 디자인에 미치는 영향이 기술 개선보다 클 수 있다. 미래의 AI 검색은 현재처럼 섞어 표현하는 대신 "어느 부분이 모델의 요약이고 어느 부분이 원문 인용인지"를 더 명확히 표시할 가능성이 있다.
불확실한 점도 있다. hausresearch의 샘플 크기는 크지 않아, 33%라는 숫자의 신뢰 구간은 엄밀히 말해 상당히 넓을 수 있다. 하지만 실제 오류율이 20%만 되더라도 "인용 포함"을 내세우는 제품에 대해서는 수용 불가다.
인용 정렬 문제는 과거에는 RAG 엔지니어링의 세부 사항으로 취급되어 아무도 주목하지 않았다. 이번 정량적 입증 이후, 각社は 이를 1급 시민으로 최적화하기 시작할 것이다. 정렬 정확도를 높이거나, 인용 메커니즘 자체를 재설계하거나(예: 생성 시 "이 문장은 어디서 왔는가"를 독립 토큰으로 출력하도록 강제해 후처리 검증을 용이하게 한다).