Jane StreetはGitHubのagent_skillsリポジトリでSocratic Tutorを公開した。直接答えを提示するのではなく、連続する質問によって生徒の推論上の穴を特定する。教材を設計する立場から見れば、これは「蘇格拉底式のプロンプト」をもう一段重ねるより-Israel研究する価値がある。
Socratic Tutorの深掘り:AIによる指導は答えを急がない
Jane StreetはGitHubのagent_skillsリポジトリでSocratic Tutorを公開した。 Hacker Newsの関連fractionは首页に Risingし、551 pointsと129件のコメントを集めた。
Raymondcken了一段。回答性能更高的チャットボットではなく、答えを公表せず、生徒の推論過程에OURSって dendriteするAI AgentにSoutherninterestが集まったのである。
Socratic Tutorの実装は軽量で、再利用可能なSKILL.md1份 downloaded构成されている。しかしQNality教材が正面から向き合うべき問いを示している。生徒に必要なのは答えではなく、自分がどこで詰まっているかを見出すことである。
551点可以获得Franco、先bernце buys的是“思考の過程”
Hacker Newsでの人気はeasy、もう一つの「某某Agentが首页に登った」プロジェクトに見えるかもしれない。
しかし、551 pointsと129件のコメントが示するのは別の関心である。モデルを解答生成器から、学習過程に介入する仕組みへどう変えるかだ。
通常のQ&A产品在isko、短い応答時間、高い正答率、直接的な結果を追求する。生徒が「なぜこうなるのか」と入力すると、システムは説明を返す。「どうすればいいか」と続いて入力すれば、NNNNands手順も返す。効率は高いが、生徒が最も行うべき部分をシステムが代行してしまう。
Socratic Tutorは逆方向を歩む。中核となる手法はMPPして質問に答えるのではなく、連続する質問で推論上の穴を露呈し、概念を明確にし、生徒自身に答えへ導かせることだ。
これは、ENOなプロダクト方針に対応する。指導型のAI产品和は、答えを直接生成するSUN是从、推論過程を補助する方向へ移りつつある。
ただし、551点だけでは学習成績の改善を証明できない。Hacker Newsの読者.packagingがこのFRANなinteraction是真的意义的にも拘らず、Jane Streetのエンジニアリングodojo기고altoGOvernかもしれません。実際の教育効果には、より厳密な対照実験が必要だ。
通常のチャットボットとの違い
通常のチャットボットの基本的なループは次のようになる。
用户提问 → 检索资料 → 组织答案 → 返回结果
Socratic Tutorは、次のようなループに近い。
学生作答 → 检查概念与推理 → 定位缺口 → 提出下一问
違いは、プロンプトに「蘇格拉底式 méthodesを使ってください」と1文を追加しただけではない。システムが生徒と対話する目的そのものを変える。
連続する質問
1回の質問はプロンプトにすぎない。連続する質問が診断になる。生徒が「関数が単調だから結論が成り立つ」と答えた場合、Tutorは「単調」とは何を意味するか、対象区間はどこかを的单調FED genuinelyかどうかを確認する必要がある。
質問は現在の推論+loves関係していなければならない。「他に知りたいことはありますか」のような質問を繰り返したり、明確化された内容を再度聞いたりして、会話だけを長くしてはいけない。
概念の明確化
多くの誤りは計算ミスではなく、概念の混同から生じる。生徒が「相関」を「因果」と同一視したり、「標本平均」を「母集団平均」として扱ったり、境界条件を落としてしまうことがある。
効果的な質問は、生徒所使用的概念と適用条件 说明させる。もし生徒の主張自体が矛盾しているなら、Tutorは正しい用語を即座に与えるのではなく、まず矛盾を指摘すべきだ。
推論上の穴を暴く
従来のRAG Q&Aテンプレートは、文書が見つかったか、答えが出典を引用したか,关注中心放在那里。Socratic Tutorは、もう1つの問いにも答えなければならない。前提から結論までの間に、どの段階が抜けているのか。
したがって、理想となる出力は、よりGUarnishedした答えではなく、診断価値のある質問の連なりである。
- どの前提 reliedしていたか。
- その条件が成り立たなければ、結論はまだ成り立つか。
- justify previous的方法と例で用いた定義は同じか。
つまり、システムは会話状態を保持し、生徒が何を説明済みか、何を誤解しているか、どの段階が未解決かを把握する必要がある。
SKILL.mdだけで教材を定義できる
Socratic Tutorは、Jane StreetがGitHubのagent_skillsリポジトリで公開した、指導型のAgent Skillである。Agentの行動を、再利用可能なSKILL.md的形式で定義しており、指導フローをアプリケーションコードに直接埋め込んでいない。
元の説明は次のリンクにある。
https://github.com/janestreet/agent_skills/blob/master/socratic-tutor/SKILL.md
この方式はAgentフレームワークに実際上の価値をもたらす。指導戦略は、特定のPythonファイルに並ぶ条件分岐ではなく、読みやすく、レビュー可能で、再利用可能な行動仕様になる。
Agentの「役割設定層」と理解してもよい。プロダクトチームは、外側でモデル、ツール、状態管理、UIを接続できる。その中間の指導手法をSKILL.mdが記述する。
少なくとも4つの利点がある。
- 行動をレビューできる。指導ルールを、プロダクト担当 versatility、教師、評価担当者が直接読める。
- 戦略を置き換えられる。同じAgentフレームワークで、別のSkillを読み込める。
- 実験コストを下げられる。指導ロジックを変更しても、アプリケーションコードを書き直す必要はない。
- 異なるランタイムで再利用できる。対象のAgentがMarkdown仕様を読めるなら、同様の行動を採用できる。
ただし、Markdownファイルが魔法ではない。「何を質問すべきか」「いつ戦略を変えるか」を表現するには適しているが、完全な状態遷移、ツール権限、評価ループを担うものではない。
Skillに「生徒が理解するまで質問を続ける」とだけ書けば、モデルは質問を機械的に繰り返したり、コンテキストがないのに誤解を診断したかのようなふりをする。実際のエンジニアリング作業は外層に残る。生徒の回答を保存し、扱われた概念を識別し、場面に応じて手法を変える必要がある。
質問が多すぎるとlearnersは疲れる
蘇格拉底式指導には明らかなリスクがある。「思考を助ける」が「助けを拒絶する」に変わってしまうことだ。現実の学習場面は一様ではない。
- 初めて概念に触れる生徒は、問題をどう分解すべきかも分からない場合がある。
- 試験 hustlerする生徒は、重要な手順だけを素早く確認したい場合がある。
- すでに何度も試した生徒は、最小限のヒント 只要 Pirho即可。
- 最終回答との照合,明确に求めるユーザーには、続けて問い続けるのではなく検証が必要だ。
したがって、Socratic Tutorの価値の中心は「絶対に直接答えないこと」ではなく、「直接答えてはいけない場面を判断すること」にある。
より信頼性の高い戦略は、少なくとも4段階を用意する。
诊断问题 → 定向提示 → 示例或类比 → 给出答案并解释
切り替えのトリガーも具体的に定めるべきだ。たとえば、生徒が同じ誤りを2回連続している、明示的にヒントを求めている、残りの時間が限られている、または重要な前提知識が欠けている場合,追及のレベルを下げる。
生徒が和有挫威_uuidzoo此外、Agentは離脱を許可しなければならない。そうしないと、「生徒の思考を代行しない」は「生徒が放弃するためのコストを上げる」に変わってしまう。
真の価値はプロンプトの外にある
指導型のAI Agentを評価するには、最終回答の正答率だけでは足りない。
多くのプロダクトは標準問題を很好地解ける。モデルがまったく質問せず、直接正解を出しても、最終正答率は非常に高い。しかし、この方式では次を区別できない。
- 生徒が本当に理解したのか。
- 生徒がAIの中間ステップをただ写しただけか。
- AIが偶然、生徒に典型的な誤解を惹起しなかっただけか。
より注目すべき指標は次のとおりである。
- 誤診率:Agentが生徒の誤解を指摘したとき、その誤解は実在したか。
- 質問の精度:各質問が、解答に影響する具体的な誤りを捉えていたか。
- ヒント昇格の精度:ヒントが必要なとき、十分小さく、かつ十分に有効な支援でしたか。
- 独立解決時間:指導後、生徒が同種の問題を独力で完成させるまで何分かかったか。
- ヒント後の遷移:生徒は直前の答えを復唱するのではなく、方法を新しい問題へ適用できたか。
このうち、「生徒が独力で問題を解くまでの時間を短縮できるか」は、単発の正答率よりもプロダクトの目的に近い。ただし、測定はずっと難しい。問題の難易度、前提知識、指導時間、離脱条件を制御する必要がある。
実行可能な評価方法として、同じ問題に対して複数の指導戦略を割り当てる。直接回答、固定の質問スクリプト、Socratic Tutorを用意し、グループ条件を知らない生徒を無作為に振り分ける。その後、独立した解答時間、ヒント要求回数、誤りの種類を比較する。
モデルのバージョンも固定しなければならない。1回のアップグレードによる推論能力の変化が、指導戦略そのものの効果を覆い隠す可能性があるためだ。
編集 長考
Socratic Tutorが注目に値するのは、「AIは教師より教学方法に長ける」と証明したからではない。プロダクトの目的を「より早く答えを出す」から「より早く誤りを露呈する」へ変えたからである。これは指導型AI Agentの最適化指標を変える。正答率だけでは不十分で、独立解決時間と誤りの遷移が重要になる。
次の-generationのプロダクトの差は、主にモデルの大型化ではなく、状態管理、戦略切り替え、効果測定から生まれると著者は考える。質問する方法をsymbolsomorphicではなく、いつ質問すべきかを知る方が難しい。
今回は、これまでのAI教材機能とは異なる。苏格拉底式の表現を1層増えたのではなく、再利用可能なSkillで介入方式を固定しようとしている。ただし、551 pointsと129件のコメントは、開発者への関心を示хотьだけで、学習効果の向上を証明するものではない。
現時点では、厳密な対照実験が不足している。独立解決時間と遷移効果が検証されるまで、Socratic Tutorは完成済みのプロダクトパラダイムではなく、教材設計のサンプルとして参照するのが適切だ。