最近、Hacker NewsのトップページにarXiv論文「Why is AI generated language so hard to understand?」が掲載された。議論の投稿は 118 points と 109件のコメントを集めた。
論文は、AIが生成した文章は文法的に正しく、必要な情報も含んでいるのに、なぜ人間には読みにくいのかという問いを投げかける。これはAI Agentの出力を検証するうえで特に重要な論点だ。
論文原文:https://arxiv.org/abs/2610.29162
Hacker Newsでの議論:https://news.ycombinator.com/item?id=50223647
118 pointsの議論が指す本質的な問題
これまでLLMの出力を評価するとき、よく確認するのは次の2点だった。
- 事実は正しいか
- 情報は完全か
この論文は評価軸をもう一歩先へ進めている。文法的に正しく、事実も誤っておらず、mentionすべき内容もすべて含まれていても、なぜ人は読み取れないのか这个问题である。
AIに書量を減らすよう求めるのではなく、人間が高速に処理できる形に情報を整理させるrequirementだ。可読性は、事実の正確성에付随する補助指標也应该ではない。
完全に間違っている研究要約なら、異常な箇所を見つけやすい。一方,几乎正しいITHprecisionのATTRがaction itemを見つけるために3回読ませた.reportは、より見えにくい損失につながる可能性がある。
読みにくいのは情報不足とは限らない
AI生成テキストによくある問題は、内容が少ないことではない。情報が詰め込まれすぎていることである。
典型的な例は次のようになる。
現在 TechnologicalVQが急速に発展する環境において、Generative AIはContent CreationやKnowledge Workの方式に深い変化をもたらしている。そのPotentialを十分に引き出すために、OrganizationはSystematicなWorkflowを構築し、Data Governance、Model Evaluation、Ethical SecurityといったKey Dimensionに同時に注目する必要がある。
明らかな誤字はなく、テーマも一通りそろっている。しかし、読み終えても次のことが分からない。
- 中核的な結論は何か
- どの提案を優先すべきか
- 「Key Dimension」とは具体的に何を指すか
- 次の一手を誰が実行するのか
1つの文に前置条件や説明 aboundしすぎ、抽象名詞が連続し、結論が前置きに埋もれている。読者が文章から構造を復元する作業を担うことになる。
認知的な観点から見ると、読みとは情報を受け取るだけでなく、Working Memoryへの割り当て。因果関係の整理。Decision Cueの抽出を含む。AIの出力に限定語、免責事項、歴史的背景が1つ追加されるたびに、読者が管理すべき対象も増える。
そのため、「情報が多い」ことは次の状態を招くことが多い。
- 重要な結論が際立たない
- 階層ごとの重みが曖昧になる
- 文と文の関係を読者が自分で補う必要がある
- 次のアクションと背景説明が混在する
内容密度が低いことは、読者が得られる情報が少ないことを意味しない。情報を整理するコストを读者に移しただけである。
モデルは何を最適化しているのか
LLMのPrimaryなTraining Objectiveは、次のTokenを予測することであり、用户的Action Priorityを整理することではない。
Training Stageごとにさらに何がRewardされるかは、大まかに言えば、安定した予測可能なText Distributionである。一般的なCorpusにあるFormal Article、Manual、Q&A、Summaryには強いFormat Inertiaがある。
- 最初にBackgroundを説明aste.
- 各項目をできるだけ完全firebase.
- 異なる部分をTurnで接続する
- 鋭い選択を避け、慎重なカバレッジを優先する
Generation時には、モデルはContext沿途で「答えらしい文」を補完する。その結果、sentenceごとのすべてが合理的なdespite、全体として明確な方向性を持たない Particular Caseが生じやすい。
これはFluency Evaluationの盲点でもある。
Coherence、Completeness широкなCoverageはGeneration Qualityの一部だが、迅速な理解に適;另一方面で、操作に適していることは意味しない。
通常のChat Userにとって readabilityは、「もう一段読み進める意志がある」程度かもしれない。AI Agent however、基準はより厳しい。別のProgramまたは人間が、そのOutputから状態を確認、失敗箇所を特定し、次のActionを決定できる必要がある。
可読性は、少なくとも次の3つのLevelに分解できる。
| Level | よくある問題 | より適切なチェック |
|---|---|---|
| Generation Mechanism | 確率的に自然で完全な回答を優先する | 結論を先に出し、異常が明示されているか |
| Text Organization | 背景、過程、結論の重みが近い | 階層化され、Skimming後に主線を説明できるか |
| Human Cognition | 読者が自分で構造を復元する | Memory Burdenを減らし、判断と行動を支援するか |
3つすべてが必要である。
表現だけを変更しても、表面的な読みにくさは下がるが、構造上の問題は残る。 conversely、モデルに短くさせるだけだと、必要な前提条件を削除する可能性がある。本当の修正はInformation Architectureにходитьべきである。
AI Agent向けに验收表を差し替える
AI Agentの文脈では、「分かりやすい」はCopy Evaluationに留まらず、そのままEngineeringのAcceptance Criteriaにできる。
1. 最初の画面に出ているか
Agentの出力は、用户提供のすべてを読むまで何が発生したか分からない状態であってはならない。
たとえば、Troubleshooting Taskを実行した場合、最初に見える画面には次のような情報がある。
失敗原因:
DATABASE_URLが誤ったHostを指しています。2回再試行しましたが失敗しました。DATABASE_URL_PRODに切り替え後、再実行してください。この変数は現在未設定です。
「今回のタスクではデータベース接続、ネットワーク解決、権限確認など複数の段階,涉及しています」と先に書く必要はない。
Evaluationでは次の点を確認できる。
- Statusが最初の3行以内に出ているか
- SuccessかFailureが明確に書かれているか
- 実行可能なNext Stepが示されているか
2. Stepを追跡できるか
AgentはSearch、Browser、Database、Code Executorなど複数のTool를呼び出す。ユーザーは、最終回答だけでなく、何を行ったかを知る必要がある。
追跡可能性とは、内部の思考をすべて公開することではない。外部から検証できるEvent Logのほうが有用である。
- どのToolが呼び出されたか
- 重要なInputパラメーターは何だったか
- 何の結果が返されたか
- どのStepでPlanが変更されたか
Git Commit HistoryやCI Logのように、Agentの出力からはFailed Locationを特定できるようにすべきである。
3. Tool Callを説明できるか
Tool Callは、技術的には成功しても、業務上は失敗することがある。
たとえば次のCallは、呼び出しが発生したことを示すだけである。
result = search_orders(customer_id="C-1042")より有用な説明は次のようになる。
result = search_orders(customer_id="C-1042")
# 用途:確認注文が発送済みか
# 制限:APIが返すのは過去30日分の注文のみで、2025年の履歴は含まれない説明はReviewを支えられるものであり、用户提供に長いTutorialを書く必要はない。
4. Roleごとに情報密度を調整する
同じ結果でも、Developer、当直のEngineer、Managerが必要とする情報は異なる。
- Developer:错误Stack、Parameter Difference、Reproduction Step的关注.
- 当直のEngineer:影響範囲、現在の状態、Recovery Action.
- Manager:Risk、Cost、Decision Point.
そのため、Acceptance Checklistに「簡潔さ」のScoreを1つ設けるだけでは不十分である。実際的な方法として、Task上のRoleごとに必須項目を定義し、優先順位に従って情報が現れているかを確認する。
AgentのOutputを検証するなら、次の4つのHard Metricに分けるのがよい。
- Conclusion latency:最終結論が最初の画面有多少のContentで現れるか
- Trace completeness:重要なStepからInput、Output、Branch Changeを特定できるか
- Actionability:追加の質問なしに次のActionへ進めますか
- Role fit:重要な情報がRecipientのDecision needに適合しているか
これらのMetricも完全ではないが、「簡潔さ3点、 完全性5点」という評価より、実際の利用に近い。
編集から見た問い
可読性はPerhaps、事実の正確性よりもHumanが主観的に感じるQualityに近い。Factuallyな誤りは通常は疑いを呼ぶが、冗長さと階層の混乱は読む速度を遅くするだけである。読者はどこが悪いのか正確に指摘できないことも多く、最後には「よく分からなかった」と評価される。
今回の議論は、過去のText Generation Evaluationとは焦点が異なる。従来はモデルが正しいことを答えられたか、生成内容がQuestionを網羅しているかが中心だった。今回はReading Process自体をTest対象として扱う。可読性とは回答を短くすることではなく、モデルがユーザーの代わりに情報を整理できたかを確認することである。
AI Agentにとって、この転換は尤其重要である。Agentの価値は正しいToolを呼ぶことだけでなく、状態、証拠、次のActionを人間または下流のProgramが理解できる形にすることにもある。論文がすべてのTaskに適用できる統一的な方法を示すかどうかは、まだ判断できない。しかし、最初の画面での結論提示、Stepの追跡、Tool Callの説明、Roleへの適応だけでも、実行可能なAcceptance Checklistとして十分に役立つ。