工具

Socratic Tutor 深度拆解:AI 教學如何先診斷再回答

Jane Street 公開 Socratic Tutor,以連續提問找出學生推理中的缺口。本文從 Agent Skill、策略切換與教學評測三個面向,分析這套方法為何不能只靠提示詞实现。

字級

Jane Street 在 GitHub 的 agent_skills 儲存庫公開了 Socratic Tutor。它不直接公布答案,而是透過連續提問找出推理漏洞。對開發教學產品的人而言,這比在既有功能上再加一層「蘇格拉底式提示詞」更值得研究。

Socratic Tutor 深度解析:AI 教學不急著給答案

Jane Street 在 GitHub 的 agent_skills 儲存庫公開了 Socratic Tutor。相關討論登上 Hacker News 首頁,獲得 551 points 和 129 則留言。

大家真正感興趣的,不是一個更擅長答題的聊天機器人,而是一個願意忍住不公布答案、持續追問學生推理過程的 AI Agent。

Socratic Tutor 的實作很輕量:一份可重複使用的 SKILL.md。但它點出一個教學產品必須認真面對的問題——學生需要的往往不是答案,而是找到自己卡住的位置。

551 分背後,開發者買的是「過程」

Hacker News 的熱度容易讓人以為,這又是某個「某某 Agent 登上首頁」的專案。

551 points 和 129 則留言顯示,開發者關注的是另一件事:如何把模型從答案生成器,改造成學習過程中的介入者。

一般問答產品通常追求更短的回應時間、更高的正確率,以及更直接的結果。學生輸入「為什麼會這樣」,系統回傳一段解釋;再輸入「怎麼做」,系統繼續列出步驟。效率很高,卻可能替學生完成了最該由學生完成的部分。

Socratic Tutor 採取相反方向。它的核心方法不是直接回答學生問題,而是透過連續提問暴露推理漏洞、釐清概念,並引導學生自行得出答案。

這對應到一種明確的產品取向:教學型 AI 產品正從直接生成答案,轉向輔導推理過程。

不過,551 分不能直接證明它能提升學習成績。Hacker News 讀者可能喜歡這種互動理念,也可能只是對 Jane Street 的工程實作感興趣。實際教學效果仍需更嚴謹的對照實驗。

它和一般聊天機器人有何不同

一般聊天機器人的基本循環是:

使用者提問 → 檢索資料 → 組織答案 → 回傳結果

Socratic Tutor 更接近以下循環:

學生作答 → 檢查概念與推理 → 定位缺口 → 提出下一個問題

差異不只是提示詞多了一句「請使用蘇格拉底式方法」。它改變了系統與學生對話的目標。

連續追問

單次提問只能算提示,連續提問才能形成診斷。學生說「因為函數是單調的,所以結果成立」,Tutor 需要繼續確認:這裡的「單調」指的是什麼?區間是什麼?是否嚴格遞增?

問題必須與當下的推理相關。不能泛泛地問「還有什麼想知道的」,也不能為了拉長對話,把已經釐清的內容再問一次。

釐清概念

許多錯誤不是計算錯誤,而是概念混用。學生把「相關性」當成「因果性」,把「樣本平均」當成「整體平均」,或者忽略邊界條件。

有效提問會迫使學生說明自己採用的概念與適用條件。若學生的說法本身矛盾,Tutor 應先指出矛盾,而不是立即提供正確術語。

暴露推理漏洞

傳統 RAG 問答範本關注文件是否找到、答案是否引用來源。Socratic Tutor 還必須回答另一個問題:學生的結論從前提到結論之間,缺少哪一步?

因此,它的理想輸出不是一段更漂亮的答案,而是一連串具有診斷價值的提問:

  • 你依賴了哪個假設?
  • 如果這個條件不成立,結論還成立嗎?
  • 你剛才的方法和範例使用的是同一個定義嗎?

這代表系統必須維護對話狀態,知道學生已經解釋過什麼、誤解了什麼,以及哪一步仍未解決。

一份 SKILL.md 就能定義教學人格

Socratic Tutor 是 Jane Street 在 GitHub 的 agent_skills 儲存庫公開的一套教學型 Agent Skill。它採用可重複使用的 SKILL.md 形式定義 Agent 行為,沒有把教學流程寫死在應用程式碼中。

原始說明請見:

https://github.com/janestreet/agent_skills/blob/master/socratic-tutor/SKILL.md

這種做法對 Agent 框架具有實際價值。教學策略不再只是某個 Python 檔案中的一串條件判斷,而成為可閱讀、可審查、可重複使用的行為規範。

可以把它理解成 Agent 的「角色設定層」。產品團隊仍可在外部串接模型、工具、狀態管理與介面;中間的教學方法則由 SKILL.md 描述。

它至少帶來四項好處:

  1. 行為可審查。教學規則能由產品人員、教師與評測人員直接閱讀。
  2. 策略可替換。同一套 Agent 框架可以載入不同的 Skill。
  3. 實驗成本更低。修改教學邏輯不必重寫應用程式碼。
  4. 跨執行環境重用。只要目標 Agent 能讀取 Markdown 規範,就能採用類似行為。

但 Markdown 檔案不是魔法。它適合表達「應該追問什麼」與「何時切換策略」,不適合承載完整的狀態機、工具權限與評測閉環。

如果 Skill 只寫「持續追問直到學生理解」,模型很容易機械式地重複問題,或在缺少上下文時假裝已診斷出誤區。真正的工程工作仍在外層:保存學生回答、辨識已涵蓋的概念,並依情境切換方法。

提問太多,也可能把人問煩

蘇格拉底式教學有一項明顯風險:把「協助思考」變成「拒絕提供協助」。

真實學習情境並不一致。

  • 第一次接觸概念的學生,可能連問題該如何拆解都不知道。
  • 準備考試複習的學生,可能需要快速確認關鍵步驟。
  • 已經嘗試多次的學生,可能只差一個最小提示。
  • 明確要求核對最終答案的使用者,需要的是驗證,而不是繼續繞圈。

因此,Socratic Tutor 最有價值的部分,不該是「永不直接回答」,而應是「判斷何時不該直接回答」。

一套更可靠的策略至少包含四個層級:

診斷問題 → 定向提示 → 範例或類比 → 給出答案並解釋

觸發切換的訊號也應具體。例如,學生連續兩次出現相同錯誤、明確要求提示、剩餘時間有限,或缺少關鍵先備知識時,都應降低追問層級。

學生感到挫折後,Agent 還應允許退出。否則,「不替代學生思考」很容易變成「提高學生放棄的成本」。

真正的價值在提示詞之外

評估教學型 AI Agent,只看最終答案正確率並不夠。

許多產品已經能妥善處理標準題目。即使模型完全不追問,直接輸出正確答案,最終正確率依然很高。但這類系統無法區分:

  • 學生真的理解了;
  • 學生只是照抄 AI 的中間步驟;
  • AI 恰好沒有觸發學生典型的誤區。

更值得關注的是以下指標:

  1. 誤診率:Agent 聲稱學生存在某個誤區時,該誤區是否真的存在?
  2. 追問命中率:每次提問是否指向影響解答的具體錯誤?
  3. 提示升級準確率:需要提示時,是否提供了足夠小、卻又足以有效的協助?
  4. 獨立解決時間:經過輔導後,學生獨立完成同類題目需要多久?
  5. 提示後遷移:學生能否把方法應用於新題,而不是複述剛才的答案?

其中,「縮短學生獨立解題時間」比單次答題正確率更接近產品目標,但也更難測量:必須控制題目難度、先備知識、輔導時長與退出條件。

一種可執行的評測方式,是為同一道題配置多種教學策略:直接給答案、固定的追問腳本,以及 Socratic Tutor。再讓不知道分組條件的學生隨機進入,接著比較獨立解題時間、提示請求次數與錯誤類型。

模型版本也必須固定,否則一次升級帶來的推理能力變化,可能蓋過教學策略本身的成效。

編輯思考

Socratic Tutor 值得關注,不是因為它證明「AI 比老師更會教」,而是因為它把產品目標從「更快產出答案」改成「更早暴露錯誤」。這會改變教學型 AI Agent 的最佳化指標:答案正確率不再充分,獨立解題時間與錯誤遷移變得更重要。

我的判斷是,下一批產品的差異主要不會來自更大的模型,而會來自狀態管理、策略切換與成效評測。知道何時該追問,比知道怎麼追問更難。

這次與過去常見的 AI 教學功能不同。它沒有只換上一層蘇格拉底式話術,而是嘗試用可重複使用的 Skill 固定介入方式。不過,551 points 和 129 則留言只能證明開發者感興趣,不能證明它提升了學習效果。

目前仍缺少嚴謹的對照實驗。在驗證獨立解題時間與遷移成效之前,它更適合作為教學設計的參考範例,而非已經成熟的產品典範。

來源: https://github.com/janestreet/agent_skills/blob/master/socratic-tutor/SKILL.md