투자관리 Agent 평가의 사각지대: FinSkillBench가 던지는 질문
범용 benchmark는 '말은 잘하는지'를 측정하지만, FinSkillBench는 '장부를 잘 다루는지'를 평가한다. 포트폴리오 구성, 리스크 관리, 펀더멘털 분석 세 가지 영역에서 Agent가 데이터를 정확히 조회하고 모델을 제대로 돌리며 올바른 리포트를 뽑아내는지 검증한다.
GitHub 스타 69.9k의 멀티에이전트 프레임워크가 LLM 역할 체인에 표준 소프트웨어 공정을 집어넣었다. 요구사항 한 줄 넣으면 PRD, API, 코드가 쏟아져 나온다. 직접 돌려보고 SOP 기반 공장식 개발의 가치를 검증했다.
범용 benchmark는 '말은 잘하는지'를 측정하지만, FinSkillBench는 '장부를 잘 다루는지'를 평가한다. 포트폴리오 구성, 리스크 관리, 펀더멘털 분석 세 가지 영역에서 Agent가 데이터를 정확히 조회하고 모델을 제대로 돌리며 올바른 리포트를 뽑아내는지 검증한다.
Latent Space가 외부 역공학을 통해 Memory, Browser Use, Plugins 등 7개 모듈을 재조립했다. OpenAI가 공개하지 않은 Agent 아키텍처를 외부에서 복원한 내용이다.
Apache-2.0, Rust crate 120개, 사흘 만에 Star 10만. OpenAI가 이번에 공개한 건 모델이 아니라 Agent를 실제로 굴리는 엔진이며, AI 통합을 만드는 엔지니어에게 그 의미는 작지 않다.