Jane Street는 GitHub의 agent_skills 저장소에 Socratic Tutor를 공개했다. 정답을 바로 알려주는 대신, 연속적인 질문을 통해 학생의 추론에 있는 공백을 찾아낸다. 교육 제품을 만드는 사람들에게는 프롬프트에 ‘소크라테스식 질문법’만 덧붙이는 방식보다 참고할 만한 접근이다.
Socratic Tutor 심층 분석: AI는 답보다 질문으로 학습을 이끈다
Jane Street는 GitHub의 agent_skills 저장소에 Socratic Tutor를 공개했다. 관련 논의는 Hacker News 메인 페이지에 올라가 551 points와 129개 댓글을 받았다.
관심의 핵심은 더 잘 답하는 챗봇이 아니라, 정답을 알려주고 싶은 자신을 억제하면서 학생의 추론 과정을 계속 살펴보는 AI Agent였다.
Socratic Tutor의 구현은 가볍다. 재사용 가능한 SKILL.md 한 파일로 구성된다. 하지만 이 프로젝트는 교육_PRODUCT가 진지하게 다뤄야 할 문제를 제기한다. 학생에게 필요한 것은 대개 정답이 아니라, 자신의 사고가 멈춘 지점을 찾는 일이다.
551점이_modu它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它它
Hacker News에서 높은 반응을 얻었다고 해서 또 하나의 ‘어떤 Agent가 메인에 오른 프로젝트’가 된 것은 아니다.
551 points와 129개 댓글은 개발자들이 다른 문제에 집중하고 있음을 보여준다. 모델을 정답 생성기에서 학습 과정에 개입하는 역할로 바꾸는 방법이다.
일반적인 질의응답 제품은 보통 더 짧은 응답 시간, 높은 정답률, 곧바로 얻는 결과만 추구한다. 학생이 ‘왜 이렇게 되나요’라고 물으면 설명을 돌려주고, ‘어떻게 하면 되나요’라고 물으면 단계를 제시한다. 효율은 높지만, 학생이 직접 수행해야 하는 가장 중요한 부분을 대신 처리할 수 있다.
Socratic Tutor는 반대 방향으로 작동한다. 핵심은 학생의 질문에 바로 답하는 대신, 연속적인 질문을 통해 추론의 빈틈을 드러내고 개념을 명확히 하며 학생이 스스로 답에 도달하도록 안내하는 것이다.
이는 분명한 제품 방향을 뜻한다. 교육용 AI 제품은 정답을 생성하는 도구에서 추론을 제공하는 튜터로 이동하고 있다.
다만 551점이 학습 성취 향상을 직접 증명하지는 않는다. Hacker News 독자들은 이 대화 방식 자체를 좋아했을 수도 있고, Jane Street의 엔지니어링 방식에 관심이 있었을 수도 있다. 실제 교육 효과를 판단하려면 더 엄격한 대조 실험이 필요하다.
일반 챗봇과 무엇이 다른가
일반 챗봇의 기본 흐름은 다음과 같다.
사용자 질문 → 자료 검색 → 답변 구성 → 결과 반환
Socratic Tutor는 다음 흐름에 더 가깝다.
학생 답변 → 개념과 추론 점검 → 공백 특정 → 다음 질문
차이는 프롬프트에 ‘소크라테스식 방법을 사용하세요’라는 문장을 추가한 데서 끝나지 않는다. 시스템이 학생과 대화하며 지향하는 목표 자체가 달라진다.
연속적인 질문
한 번의 질문은 힌트에 불과하지만, 연속적인 질문은 진단이 된다. 학생이 ‘함수가 단조이므로 결과가 성립한다’라고 답했다면 Tutor는 ‘단조’란 무엇을 뜻하는지, 어떤 구간인지, 엄격히 증가하는 함수인지 확인해야 한다.
질문은 현재 추론과 직접 관련되어야 한다. ‘더 궁금한 점이 있나요’처럼泛泛한 질문이나, 대화를 늘리기 위해 이미 명확해진 내용을 다시 묻는 방식은 적절하지 않다.
개념의 명확화
많은 오류는 계산 실수가 아니라 개념의 혼용에서 비롯된다. 학생이 ‘상관관계’를 ‘인과관계’로 착각하거나, ‘표본 평균’을 ‘모집단 평균’처럼 취급하거나, 경계 조건을 빠뜨릴 수 있다.
효과적인 질문은 학생 자신이 사용하는 개념과 적용 조건을 설명하게 한다. 학생의 설명 자체가 모순된다면 Tutor는 올바른 용어를 바로 제시하기보다 모순을 먼저 지적해야 한다.
추론의 빈틈 드러내기
전통적인 RAG 질의응답 템플릿은 관련 문서를 찾았는지, 답변에 출처를 인용했는지에 집중한다. Socratic Tutor는 추가로 한 가지 질문에 답해야 한다. 학생의 결론을Executed premises와 conclusions사이의 빈틈은 무엇인가.
따라서 이상적인 출력은 더 보기 좋은 답변 한 덩어리가 아니라, 진단 가치가 있는 질문들의 연속이다.
- 어떤 전제를 가정했는가?
- 이 조건이 성립하지 않아도 결론은 유지되는가?
- 방금 사용한 방법과 예시에는 같은 정의가 적용되었는가?
그러려면 시스템은 대화 상태를 유지해야 한다. 학생이 무엇을 설명했고 무엇을 오해했으며 어떤 단계가 아직 해결되지 않았는지 알아야 한다.
SKILL.md 하나로 교육적 성격을 정의하다
Socratic Tutor는 Jane Street가 GitHub의 agent_skills 저장소에 공개한 교육형 Agent Skill이다. Agent의 행동을 재사용 가능한 SKILL.md 형식으로 정의했으며, 교육 흐름을 애플리케이션 코드에 고정하지 않았다.
원본 설명은 다음 링크에서 확인할 수 있다.
https://github.com/janestreet/agent_skills/blob/master/socratic-tutor/SKILL.md
이러한 방식은 Agent 프레임워크에 실질적인 가치가 있다. 교육 전략이 특정 Python 파일에 나열된 조건문이 아니라, 읽고 검토하고 재사용할 수 있는 행동 규범이 된다.
Agent의 ‘역할 설정 계층’이라고 생각할 수도 있다. 제품 팀은 그 외곽에서 모델, 도구, 상태 관리, 인터페이스를 계속 연결할 수 있다. 그 사이의 교육 방법만 SKILL.md가 설명한다.
최소한 네 가지 이점을 제공한다.
- 행동을 검토할 수 있다. 제품 담당자, 교사, 평가자가 교육 규칙을 직접 읽을 수 있다.
- 전략을 교체할 수 있다. 동일한 Agent 프레임워크에서 서로 다른 Skill을 불러올 수 있다.
- 실험 비용이 낮다. 교육 로직을 수정해도 애플리케이션 코드를 다시 작성할 필요가 없다.
- 여러 runtime에서 재사용할 수 있다. 대상 Agent가 Markdown 규범을 읽을 수 있다면 유사한 행동을 적용할 수 있다.
그러나 Markdown 파일이 모든 것을 해결해 주지는 않는다. ‘무엇을 질문할지’, ‘언제 전략을 바꿀지’를 표현하는 데는 적합하지만, 완전한 상태 머신, 도구 권한, 평가 순환을 담당하기에는 부족하다.
Skill에 ‘학생이 이해할 때까지 계속 질문하라’라고만 적으면 모델은 기계적으로 같은 질문을 반복하거나, 맥락이 부족한 상태에서도 오해의 원인을 진단한 척할 수 있다. 진정한 엔지니어링 작업은 여전히 외곽에 남아 있다. 학생의 답변을 저장하고, 이미 다룬 개념을 식별하고, 상황에 따라 방법을 전환해야 한다.
질문too_it might
소크라테스식 교육에는 뚜렷한 위험이 있다. ‘사고를 돕는 질문’이 ‘ 도움을 거부하는 질문’으로 바뀔 수 있다는 점이다.
실제 학습 상황은 하나로 통일되지 않는다.
- 개념을 처음 접하는 학생은 질문조차 어떻게 나눠야 하는지 모를 수 있다.
- 시험을 준비하는 학생은 핵심 단계를 빠르게 확인해야 할 수 있다.
- 여러 번 시도한 학생은 최소한의 힌트만 필요할 수 있다.
- 최종 정답의 검토를 명확히 요청한 사용자는 추가 질문이 아니라 검증을 원한다.
따라서 Socratic Tutor의 가치는 ‘절대 직접 답하지 않는 것’이 아니라 ‘언제 직접 답하지 않아야 하는지 판단하는 것’에 있다.
더 신뢰할 수 있는 전략은 최소한 다음 네 단계로 구성된다.
진단 질문 → 방향을 잡는 힌트 → 예시 또는 비유 → 정답 제시와 설명
단계를 전환하는 신호도 구체적이어야 한다. 학생이 같은 오류를 두 번 연속 범 마다거나, 명시적으로 힌트를 요청하거나, 남은 시간이 제한적이거나, 핵심 전제 지식이 부족하다면 질문의 강도를 낮춰야 한다.
학생이 좌절감을 느낀 뒤에는 Agent가 중단을 허용해야 한다. 그렇지 않으면 ‘학생의 사고를 대체하지 않는다’는 원칙이 ‘학생이 포기하기까지의 비용을 높인다’로 쉽게 변질될 수 있다.
진정한 가치는 프롬프트 밖에 있다
교육형 AI Agent를 평가할 때 최종 정답률만 확인해서는 안 된다.
많은 제품은 이미 표준화된 문제를 잘 풀어 낸다. 모델이 전혀 질문하지 않고 올바른 정답을 출력하더라도 최종 정답률은 높게 나타날 수 있다. 하지만 이러한 시스템은 다음 상황을 구분하지 못한다.
- 학생이 실제로 이해했을 때
- 학생이 AI의 중간 단계를 그대로 복사했을 때
- AI가 우연히 학생의 전형적인 오류를 건드리지 않았을 때
더 주목할 만한 지표는 다음과 같다.
- 오진단율: Agent가 학생에게 특정 오해가 있다고 주장했을 때, 실제로 그 오해가 존재하는가?
- 질문 적중률: 각 질문이 답에 영향을 주는 구체적인 오류를 향하는가?
- 힌트 승격 정확도: 힌트가 필요할 때, 너무 작지도 않으면서 충분히 효과적인 도움을 제공했는가?
- 독립 해결 시간: 튜터링 이후 학생이 같은 유형의 문제를 혼자 해결하는 데 얼마나 걸리는가?
- 힌트 이후의迁移: 학생이 방금 답변을 반복하는 것이 아니라, 방법을 새로운 문제에 적용할 수 있는가?
그중 ‘학생이 독립적으로 문제를 해결하는 시간을 단축하는 것’은 한 번의 정답률보다 제품 목표에 더 가깝다. 다만 측정하기는 훨씬 어렵다. 문제 난이도, 전제 지식, 튜터링 시간, 중단 조건을 통제해야 하기 때문이다.
실행 가능한 평가 방법 중 하나는 같은 문제에 여러 교육 전략을 배정하는 것이다. 바로 정답을 제시하는 방식, 고정된 질문 스크립트, Socratic Tutor를 각각 사용한다. 이후 어떤 조건에 배정되었는지 모르는 학생을 무작위로 나누고, 독립적인 문제 해결 시간, 힌트 요청 횟수, 오류 유형을 비교한다.
모델 버전도 고정해야 한다. 한 번의 업그레이드로 발생한 추론 능력 변화가 교육 전략 자체의 효과를 압도할 수 있기 때문이다.
편집자 생각
Socratic Tutor가 주목할 만한 이유는 ‘AI가 교사보다 가르칠 수 있다’는 것을 증명해서가 아니다. 제품 목표를 ‘더 빨리 정답을 생산하는 것’에서 ‘더 일찍 오류를 드러내는 것’으로 바꿨기 때문이다. 이는 교육용 AI Agent의 최적화 지표도 바꾼다. 정답률은 충분한 기준이 아니며, 독립적인 문제 해결 시간과 오류의迁移이 더 중요하다.
제 판단으로는 다음 제품군의 차이는 주로 더 큰 모델에서 나오지 않는다. 상태 관리, 전략 전환, 효과 평가에서 Comes differences. 무엇을 질문할지 아는 것보다 언제 질문해야 하는지 아는 것이 더 어렵다.
이번 사례는 과거의 AI 교육 기능과 다르다. 소크라테스식 표현만 바꿔 붙인 것이 아니라, 재사용 가능한 Skill로 개입 방식을 표준화하려 했다. 다만 551 points와 129개 댓글은 개발자들의 관심을 증명할 뿐, 학습 효과 향상을 증명하지는 않는다.
현재는 여전히 엄격한 대조 실험이 부족하다. 독립적인 문제 해결 시간과迁移 효과를 검증하기 전까지는, 이는 확립된 제품 패러다임이라기보다 교육 디자인의 사례자료에 가깝다.