Ripple-65B는 미국 시장의 open-weight 모델을 대상으로 한 Agentic Coding 순위에서 1위라고、LINE 했다. 진짜 주목할 점은 순위가 아니라, 합리적인 비용으로 실제 개발 작업을 안정적으로 끝낼 수 있는지다.
프로젝트 소개에 따르면 Ripple-65B는 Agent编程 task를 겨냥한 65B parameter 모델이다. 프로젝트 페이지에서는 미국 시장의 open-weight 모델 중 Agentic Coding SOTA를 달성했다고_LINE이다.
원본 소개: https://www.ricursive.com/ripple
이 정보는 프로젝트 측의 자체 주장이며, 곧바로 제3자 검증 결과로 볼 수는 없다. 현재는 어떤 task를 지원하는지, 어떤 test set을 사용했는지, inference cost와 deployment requirement가 어떻게 되는지 더 확인해야 한다.
Agent编程의 진짜 승부처는 코드를 한 번 생성할 수 있는지가 아니다. ‘저장소 읽기—코드 수정—테스트 실행—실패 원인 파악—수정 계속’이라는 closed loop을 안정적으로 완수할 수 있는지가 핵심이다.
Ripple-65B의 SOTA 선언이 의미하는 것
제공된 원본 자료에는 프로젝트 소개 페이지 외에 Hacker News 게시물의 링크, 점수, 댓글 수가 없다. 따라서 ‘29점과 댓글 15개’라는 내용은 주어진 출처에서 확인할 수 없어 삭제했다.
논의의 핵심도 65B라는 parameter size만_Should 아니다.
개발자가 더 관심 갖는 부분은 세 가지다.
- 도구 호출이 신뢰할 만한지, 특히 terminal, editor, test framework 사이의 호출이 안정적인지
- 대규모 저장소를 다룰 때 관련 파일을 찾고 task context를 유지할 수 있는지
- 오류가 난 뒤 문제를 사용자에게 넘기지 않고 스스로 복구할 수 있는지
이 지점들이 정확히 Agentic Coding 순위와 일상 개발 사이의 간극을 드러낸다. Closed-source 제품은 보통 model, tool, runtime, 사람의 fallback까지 하나로 묶어 제공한다. Open-weight 모델은 inference service, tool protocol, prompt, state management을 개발자가 직접 조합해야 하는 경우가 많다.
따라서 ‘open-weight SOTA’는 특정 test에서의 순위를 뜻할 뿐, ‘개인 개발자가 설치만 하면 완전한 Agent 경험을 얻을 수 있다’는 의미는 아니다.
Ripple-65B가 주목할 만한 이유는 경쟁의 무대가 workflow 층으로 이동했다는 점이다. 모델은 코드 질문에 답하는 데서 멈추지 않고, task를 완수하기 위해 능동적으로 도구를 사용해야 한다.
65B는 어떤 종류의 개발 task에 적합한가
Ripple-65B는 Agent编程 task를 겨냥한다. 이 포지션은 범용 code completion model보다 요구 사항이 한 단계 많다. 모델이 환경의 feedback에 따라 행동을 조정해야 한다는 뜻이다.
대표적인 Agentic Coding task는 다음과 같을 수 있다.
- GitHub issue 읽기
- 관련 module 찾기
- 코드 수정하기
- 테스트 실행하기
- 오류 메시지를 바탕으로 수정 계속하기
여기서 중요한 것은 특정 코드 segment가 아름다우냐가 아니라, 도구 호출이 closed loop을 만들 수 있느냐다.
모델이 patch만 생성한다면 code generator에 더 가깝다. pytest를 실행하고 traceback을 읽고, 잘못된 file을 수정한 뒤 다시 test할 수 있다면 programming Agent에 한 걸음 더 가까워진다.
65B의 우위는 단순한 parameter size보다 특정 training 및 inference 방식에서 나올 가능성이 크다. 연구자와 platform team이 이 모델을 기반으로 tool calling, repository retrieval, test-fix workflow를 구축할 수 있는 후보 foundation으로 이해하는 편이 적절하다.
다만 현재 공개된 정보만으로 어떤 종류의 task를 해결했는지 확인하려면 다음에 대한 재현 가능한 detail이 더 필요하다.
- 지원하는 tool과 protocol
- 안정적인 structured call을 기본으로 출력하는지 여부
- context length
- parallel tool call이 신뢰할 만한지 여부
- 실패 후 recovery strategy
이 정보가 없으면 SOTA 선언을 engineering conclusion으로 바로 전환하기 어렵다.
Open-weight SOTA와 가장 저렴한 production cost는 다르다
순위와 production cost 사이에는 적어도 네 겹의 관문이 있다.
Inference compute
65B 모델을 살필 때 download size만 봐서는 안 된다. 실제 runtime cost는 quantization format, VRAM 사용량, inference framework, context length, output token 수에 따라 달라진다.
consumer GPU 한 대에서 간신히 실행되는 것과, high-concurrency service에서 허용 가능한 latency를 유지하는 것은 서로 다른 문제다.
Deployment requirement
Open-weight의 가치는 통제 가능성에 있으며, 곧바로 설치 후 사용할 수 있다는 뜻은 아니다. 개발자는 여전히 다음 항목을 처리해야 한다.
- model format과 quantization
- inference service 설정
- tool-calling template
- context cache
- failure retry와 permission control
이 때문에 Claude Code, Cursor 같은 제품과 사용자 경험이 크게 다르다. 후자는 model endpoint만 제공하는 것이 아니라 완전한 workflow를 제공한다.
Context length
실제 저장소 수정 작업은 수천 token만으로 끝나지 않는 경우가 많다. Agent는 issue, 과거 대화, retrieval된 코드, file content, test output, tool result를 동시에 유지해야 한다.
Advertise된 긴 context가 있다고 해서 모든 token이 똑같이 유효하다는 의미는 아니다. 대량의 코드에서 정확한 위치를 찾을 수 있는지는 repository-level task로 검증해야 한다.
Tool-calling stability
한 번의 잘못된 선택은 잘못된 directory를 고르는 것일 수도 있고, 실행하면 안 되는 command를 수행하는 것일 수도 있다.
따라서 tool call은 success rate만으로 판단할 수 없다. 다음 항목도 살펴봐야 한다.
- parameter가 유효한지 여부
- dangerous operation을 반복 실행할 가능성
- tool error를 이해할 수 있는지 여부
- 언제 멈춰야 하는지 아는지 여부
Agent编程의 비용도 GPU bill만으로 끝나지 않는다. 사람의 개입, test 재실행, 잘못된 patch 검토도 비용에 포함해야 한다.
실제 저장소로 테스트하면 단일 순위보다 훨씬 어렵다
Ripple-65B가 정말 Agent编程을 바꿨는지 판단하려면, 조금 단순하지만 재현 가능한 실험이 필요하다.
다음 조건을 충족하는 동일한 GitHub issue를 하나 고른다.
- 명확한 bug description이 있는 경우
- 대응하는 test를 찾을 수 있는 경우
- 수정 범위가 제한된 경우
- 로컬 격리 환경에서 실행할 수 있는 경우
- 유료 또는 비공개 service에 의존하지 않는 경우
그런 다음 모델이 고정된 workflow를 수행하도록 한다. 코드 수정, test 실행, failure output 확인, 수정 계속. 각 task에는 fixed step count를 설정해 infinite loop을 방지하고, 사람이 모델에게 핵심 prompt를 대신 알려주는 일도 막는다.
실험에서는 최소한 다음 항목을 기록해야 한다.
| 지표 | 기록 방식 |
|---|---|
| 올바른 file을 찾았는지 | patch와 execution trace 확인 |
| 첫 test 통과율 | 첫 test 실행에서 통과한 task 비율 |
| 최종 완료율 | step limit 안에서 전체 test를 통과한 task 비율 |
| 사람의 개입 횟수 | 개발자가 tool이나 방향을 수정해야 한 횟수 |
| 총 token과 inference time | task 시작부터 종료까지 누적 계산 |
| 총비용 | model 비용 또는 local compute cost |
| 안전违规 횟수 | 권한을 넘는 command나 dangerous command 실행 여부 |
동일한 task set을 Ripple-65B, Claude, 다른 model에 각각 전달할 수 있다. 비교할 때 서로 다른 permission 설정 섞어 쓰면 안 된다.
예를 들어 저비용 model에는 완전한 tool permission을 주되 dangerous command는 반드시 차단할 수 있다. Claude에 더 powerful한 retrieval이나 context 전략을 적용한다면 그 추가 비용도 함께 기록해야 한다.
성공하는 저장소 하나를 고르기보다 20~50개의 issue를 연속으로 실행하는 편이 낫다. 한 번의 성공은 demo에는 적합하지만 안정성을 설명하지 못한다. 여기서 20~50은 테스트 권고이며 프로젝트 측이 제시한 데이터가 아니다.
Test code는 우선 최소한으로 유지해도 된다.
import subprocess
import sys
def run_tests(repo: str, test_command: list[str]) -> tuple[bool, str]:
result = subprocess.run(
test_command,
cwd=repo,
capture_output=True,
text=True,
timeout=300,
)
output = result.stdout + result.stderr
return result.returncode == 0, output
if __name__ == "__main__":
passed, output = run_tests(".", [sys.executable, "-m", "pytest", "-q"])
print(output)
raise SystemExit(0 if passed else 1)
이 code 자체는 model을 호출하지 않는다. Model이 tool로 script를 실행하고 exit code와 output을 읽은 뒤 코드를 수정할지 결정하게 된다. 그래야 채팅창에서 ‘생각을 시연’한 것이 아니라 실제 Agent workflow를 측정할 수 있다.
마지막으로 개발자가 더 현실적으로关心하는 지표를 계산한다.
유효 task 비용 = model inference 비용 + local execution 비용 + 사람의 개입 비용
Ripple-65B의 완료율이 더 높더라도 성공한 task마다 개발자가 세 번이나 수정해야 한다면, 실제 가치는 완료율이 조금 낮아도 더 안정적인 model보다 낮을 수 있다.
편집자가 본 의미
Ripple-65B에서 가장 중요한 신호는 ‘65B’가 몇 배 더 많은 parameter를 가진 model을 이겼느냐가 아니다. Open-weight 모델의 경쟁 단위가 바뀌고 있다는 점이다. ‘parameter와 개별 benchmark’에서 ‘inference cost, tool protocol, context management, failure recovery가 deployment 가능한 Agent workflow를 구성할 수 있는가’로 이동한 것이다. 과거 open model은 주로 customization 가능성을 증명하는 데 쓰였지만, 지금 개발자는 사람의 개입을 얼마나 줄일 수 있는지 더 중요하게 본다. 이는 Claude Code 같은 closed-source 제품이 촉발한 변화이며, 프로젝트 페이지의 정보 공개 방식과도 관련된다.
필요한 것은 model 하나가 아니라, model과 vLLM 또는 다른 inference framework, tool-calling layer, test framework, 사람의 approval mechanism이 함께 만든 제품 차이다. 다만 현재의 SOTA 선언에는 충분한 task detail과 cost data가 여전히 부족하다. 서로 다른 저장소, tool permission, inference 설정에서 얻은 1위는 바로 비교하기 어렵다. 지금 더 신뢰할 수 있는 결론은 ‘Ripple이 Agent编程을 바꿨다’가 아니라,真正로 완수할 수 있는 task가 얼마나 되는지 비교할 수 있는 지표까지 문제가 이동했다는 점이다.