최근 Hacker News 메인 페이지에 arXiv 논문 《Why is AI generated language so hard to understand?》가 등장했다. 토론 스레드는 118 points와 109개 댓글을 받았다.
논문은 다음과 같은 질문을 던진다. AI가 작성한 문장이 문법적으로 올바르고 필요한 정보도 갖췄는데도 사람이 읽기 어렵다면 왜일까? 이 문제는 AI Agent의 출력을 검증할 때 특히 중요하다.
논문 원문: https://arxiv.org/abs/2610.29162
Hacker News 토론: https://news.ycombinator.com/item?id=50223647
118점 토론이 짚은 실제 문제
LLM 출력을 평가할 때 과거에는 주로 두 가지를 확인했다.
- 사실이 올바른가?
- 정보가 완전한가?
이번 논문은 한 단계 더 나아가 질문했다. 문장이 문법적으로 올바르고 사실에 오류가 없으며 필요한 내용도 담고 있다면, 사람은 여전히 왜 이해하기 어려운가?
핵심은 AI가 말을 적게 하라는 요구가 아니라, 사람이 빠르게 처리할 수 있는 형태로 정보를 구성하도록 요구한다는 데 있다. 가독성도 사실 정확성에 딸린 보조 지표로만 남아야 하지 않는다.
답변이 모두 틀린 연구 초록은 대개 즉시发现问题. 반대로 답변이 대체로 맞지만 사용자가 세 번은 다시 읽어야 실행 항목을 찾을 수 있는 보고서는 더 은밀한 손해를 낳을 수 있다.
읽기 어렵다는 것은 정보가 부족해서가 아니다
AI 텍스트에서 흔한 문제는 내용이 부족한 데 있지 않다. 오히려 지나치게 많이 들어 있다는 데 있다.
Representative example:
현재 빠르게 변화하는 기술 환경에서 생성형 AI는 콘텐츠 제작과 지식 작업의 방식을 깊이 바꾸고 있다. 그 잠재력을 충분히 활용하려면 조직이 체계적인 업무 흐름을 구축하는 동시에 데이터 거버넌스, 모델 평가, 윤리적 안전 등 핵심 영역을 관리해야 한다.
이 문장에는 눈에 띄는 오타가 거의 없다. 주제도 빠짐없이 담고 있다. 하지만 읽은 뒤에는 다음을 알기 어렵다.
- 핵심 결론은 무엇인가?
- 어떤 제약을 먼저 실행해야 하는가?
- ‘핵심 영역’이 구체적으로 무엇을 뜻하는가?
- 다음 단계는 누가 담당해야 하는가?
하나의 문장에 지나치게 많은 앞선 조건이 쌓였다. 추상적인 명사가 연달아 등장한다. 결론은 서론 속에 묻혀 있다. 결국 사용자가 텍스트에서 구조를 복원해야 한다.
인지 science의 관점에서 보면, 읽기는 정보를 수신하는 것에만 그치지 않는다. 작업 기억에 정보를 배치하고, 인과 관계를 정리하며, 의사결정에 필요한 단서를 추출하는 과정도 포함한다. AI 출력이 수식어 하나, 면책 조항 하나, 역사적 배경 한 단락을 더할 때마다 읽어야 할 대상이 늘어날 수 있다.
따라서 ‘정보가 더 많다’는 것은 다음과 같은 결과를Frequently 낳는다.
- 중요한 결론이 충분히 강조되지 않는다.
- 계층 사이의 가중치가 불명확하다.
- 문장과 문장의 관계를 독자가 직접 연결해야 한다.
- 다음 실행 항목과 배경 설명이 뒤섞여 있다.
내용 밀도가 낮다고 독자가 얻는 정보가 적은 것은 아니다. 정보를 정리하는 비용을 사용자에게 넘겼다는 뜻일 뿐이다.
모델은 무엇을 최적화하는가
LLM의 기본 학습 목표는 다음 token을 예측하는 것이다. 사용자를 대신해 실행 우선순위를 정리하는 것이 아니다.
학습 단계마다 어떤 요소가 추가로 보상되는지는 다르지만, 대체로 안정적이고 예측 가능한 텍스트 분포가 선호된다. 일반적인 학습 말버무리의 공식 글, 설명 문서,问答, 요약에는 이미 강한 형식 관성이 형성돼 있다.
- 먼저 배경을 설명한다.
- 각 항목을 최대한 완전하게 서술한다.
- 전환 표현으로 구간을 잇는다.
- 날카로운 선택보다 신중한 범위 포괄을 택한다.
생성 과정에서 모델은 문맥에 맞춰 ‘답답해 보이는 문장’을 완성한다. 그 결과 한 문장씩은 모두 합리적이지만 전체적으로는 명확한 방향이 없는 답변이 생기기 쉽다.
이는 유창성 평가가 놓치는 부분이기도 하다.
일관성, 완전성, 폭넓은 범위는 생성 품질의 일부다. 하지만 그것이 빠르게 이해하기 적합하다는 뜻은 아니며, 실제로 실행하기에 적합하다는 뜻은 더 아니다.
일반 채팅 사용자에게 답변이 읽기 쉽다는 것은 단순히 ‘계속 읽고 싶다’는 의미일 수 있다. AI Agent에는 더 엄격한 기준이 필요하다. 다른 프로그램이나 사람이 답변을 보고 상태를 확인하고, 실패 지점을 찾고, 다음 단계를 결정할 수 있어야 한다.
가독성은 최소한 세 수준으로 나눠 분석할 수 있다.
| 수준 | 흔한 문제 | 더 적절한 검사 항목 |
|---|---|---|
| 생성 메커니즘 | 확률적으로 자연스럽고 완전한 답을 추구함 | 결론을 먼저 제시하는지, 이상이 명확히 드러나는지 |
| 텍스트 구성 | 배경, 과정, 결론의 가중치가 비슷함 | 계층이 구분되는지, 훑어 읽은 뒤 주선을 되짚을 수 있는지 |
| 인간 인지 | 독자가 직접 구조를 복원해야 함 | 기억 부담을 줄이고 판단과 실행을 지원하는지 |
세 수준은 모두 갖춰야 한다.
문구만 고치면 표면적인 읽기 부담은 줄일 수 있지만 구조 문제는 그대로 남는다. 모델에게 말하지 말라고만 하면 필요한 조건이 삭제될 수도 있다. 진짜 해결책은 정보 구조에 있어야 한다.
AI Agent에 맞는 검증표로 바꾸기
AI Agent 환경에서 ‘읽기 쉽다’는 문구 점수로만 다뤄서는 안 된다. 바로 엔지니어링 검증 항목으로 바꿀 수 있다.
1. 첫 화면에서 결론을 주는가
Agent의 출력은 사용자가 전체를 다 읽기 전까지 무슨 일이 발생했는지 알 수 없어서는 안 된다.
예를 들어 한 번의 장애 진단을 실행했을 때 이상적인 첫 화면은 다음과 같다.
실패 원인:
DATABASE_URL이 잘못된 호스트를 가리키고 있습니다. 재시도 2회 모두 실패했습니다.DATABASE_URL_PROD로 전환한 뒤 다시 실행하는 것을 권장합니다. 해당 변수는 아직 설정되지 않았습니다.
‘이번 작업은 데이터베이스 연결, DNS 조회, 권한 검증 등 여러 단계를 거치는 작업입니다’ 같은 설명을 먼저 붙일 필요는 없다.
평가 항목은 다음과 같다.
- 상태가 첫 3줄 안에 나타나는가?
- 성공인지 실패인지 명확히 표시되는가?
- 실행 가능한 다음 단계가 제시되는가?
2. 단계를 추적할 수 있는가
Agent는 검색, 브라우저, 데이터베이스, 코드 실행기 등의 도구를 호출한다. 사용자는 최종 답변뿐 아니라 Agent가 무엇을 했는지 알아야 한다.
추적 가능하다는 것은 모든 내부 사고를 노출한다는 뜻이 아니다. 외부에서 검증할 수 있는 이벤트 기록이 더 유용하다.
- 어떤 도구를 호출했는가?
- 어떤 핵심 매개변수를 입력했는가?
- 무엇을 반환했는가?
- 어느 단계에서 계획을 변경했는가?
Git 커밋 기록이나 CI 로그처럼, Agent의 출력만으로 사용자가 실패 지점을 찾을 수 있어야 한다.
3. 도구 호출을 설명할 수 있는가
도구 호출이 기술적으로 성공했더라도 업무 목표를 달성하지 못할 수 있다.
예를 들면 다음과 같다.
result = search_orders(customer_id="C-1042")이 코드만으로는 호출이 발생했다는 사실만 알 수 있다. 다음과 같은 설명이 더 유용하다.
result = search_orders(customer_id="C-1042")
# 用途:确认订单是否已发货
# 限制:接口只返回近 30 天订单,未覆盖 2025 年历史记录설명은 검토와 검증에 도움이 되어야 한다. 사용자를 위한 장문의 사용 설명을 대신 작성할 필요는 없다.
4. 역할에 맞게 정보 밀도를 조정하는가
같은 결과라도 개발자, 당직 엔지니어, 관리자가 필요로 하는 정보는 다르다.
- 개발자는 오류 스택, 매개변수 차이, 재현 절차를 중시한다.
- 당직 엔지니어는 영향 범위, 현재 상태, 복구 조치를 중시한다.
- 관리자는 위험, 비용, 의사결정 지점을 중시한다.
따라서 검증표에 ‘간결성’ 점수 하나만 두어서는 안 된다. 작업 역할별로 필수 응답 항목을 정의하고, 정보가 우선순위대로 제시되는지 검사하는 편이 현실적이다.
Agent 출력 검증은 다음 네 가지 하드 지표로 나누는 편이 좋다.
- Conclusion latency: 첫 화면에서多少 내용을 읽은 뒤 최종 결론이 나타나는가?
- Trace completeness: 핵심 단계에서 입력, 출력, 분기 변화를 추적할 수 있는가?
- Actionability: 사용자가 추가 질문 없이 다음 단계를 실행할 수 있는가?
- Role fit: 핵심 정보가 수신 역할의 의사결정에 필요한 내용과 일치하는가?
이 지표들도 완벽하지는 않지만, ‘간결성 3점, 완전성 5점’보다 실제 사용 환경에 가깝다.
출력 편집 관점
가독성은 사실 정확성보다 사용자의 체감에 더 가까울 수 있다. 사실 오류는 대개 즉시 의심을 끌지만, 장문의 문장과 뒤섞인 계층은 읽는 속도만 늦춘다. 사용자가 무엇이 잘못됐는지 정확히 설명하지 못하더라도 평가는 ‘이해가 안 됐다’는 것으로 끝날 가능성이 크다.
이번 논의는 과거의 텍스트 생성 평가와 접근이 달랐다. 이전에는 모델이 정답을 맞혔는지, 생성한 내용이 문제를 얼마나 포괄했는지를 중점적으로 봤다. 이번에는 읽는 과정 자체를 측정 대상으로 삼았다. 가독성은 답을 짧게 만드는 일이 아니라, 모델이 사용자를 대신해 정보를 잘 구성했는지 확인하는 일이다.
AI Agent에서 이러한 전환은 특히 중요하다. Agent의 가치는 올바른 도구를 호출하는 데만 있지 않고, 상태, 증거, 다음 실행 동작을 사람이나 후속 프로그램이 이해할 수 있게 만드는 데에도 있다. 논문이 모든 작업에 적용되는 단일 방법을 제안하는지는 아직 판단하기 어렵다. 하지만 첫 화면의 결론, 단계 추적, 도구 호출 설명, 역할별 적응만으로도 실행 가능한 검증표를 구성할 수 있다.