Cohere의 오픈 웨이트 모델 이상 징후, Agent 권한은 이렇게 점검한다
Cohere가 인기 있는 오픈 웨이트 모델에서 관찰된 이상 행동을TML 공개했다. 현재 공개된 요약에는 모델명과 재현 데이터가 포함되어 있지 않다. AI Agent를 도입하려는 팀이라면 모델 권한, 도구 호출, 실행 로그부터 점검할 필요가 있다.
오픈 웨이트 모델의 ‘이상 행동’: 문제는 웨이트가 아닐 수도 있다
Cohere는 공식 블로그에 “Concerning behavior from a popular open-weight AI model”이라는 제목의 글을 게시하며 인기 오픈 웨이트 모델의 이상 행동을 다뤘다.
이 글은 Hacker News 메인 페이지에 올라갔다. 확인 당시에는 42 points, 4 Comments가 표시됐다.
热度는 높지 않고 논의 표본도 크지 않다. 그러나 오픈 웨이트 모델은 쉽게 내려받을 수 있다는 것과 달리, 감사하고 책임 소재를 명확히 하기는 어렵다는 구체적인 문제를 제기한다.
더 중요한 것은 현재 뉴스 요약에 모델명, 행동 유형, 테스트 방법, 성능 지표, 코드가 모두 빠져 있다는 점이다.
원문은 다음과 같다.
이러한 세부 정보가 빠진 상태에서는 논의가 두 방향으로 흘러가기 쉽다.
- “오픈 웨이트 모델이 통제를 벗어났다.”
- “특정 시연에서 문제가 생겼을 뿐이니 별다른 의미는 없다.”
두 판단 모두 성급하다. 오히려 이상 행동을 재현 가능하고 원인을 규명할 수 있으며 개선할 수 있는 테스트 기록으로 변환해야 한다.
42 points일지라도 분석할 가치가 있는 이유
42 points는 Hacker News에서 어느 정도 되는 수치일까? 높다고 보기는 어렵다.
Comments 4개만으로 개발자 커뮤니티의 합의를 나타낸다고도 볼 수 없다. 페이지에서 확인되는 숫자는 42 points, 4 Comments이며, 추가로 분석할 표본은 없다.
하지만 이런关注도가 낮은 사건의 핵심은 특정 제품의 당일 이용자 수가 아니다. 오픈 모델이 AI Agent 시스템에 들어간 뒤 책임의 경계가 어디에 놓이는지를 묻는다.
폐쇄형 API에서는 책임 경계를 비교적 쉽게 설명할 수 있다. 요청은 공급자의 시스템을 거치며, 모델 버전, 접근 제어, 서비스 로그는 공급자가 관리한다.
오픈 웨이트는 다르다. 웨이트를 받은 배포자는 다음과 같이 활용할 수 있다.
- 로컬 환경이나 프라이빗 클러스터에서 실행한다.
- 양자화하거나 미세 조정하거나 추론 로직을 수정한다.
- shell, 파일 시스템, 외부 네트워크에 연결한다.
- 데이터베이스, 업무 API, 자격 증명 관리 시스템과 연동한다.
- 자체 Prompt, 라우팅 계층, Agent 프레임워크로 모델을 감싼다.
동일한 웨이트로 챗봇을 만들 수도 있고, 운영 환경 권한을 가진 자동 실행 시스템에 배치할 수도 있다.
따라서 “모델이 우려할 만한 행동을 보였다”는 사실은 시작점에 불과하다. 다음 질문을 계속 따라가야 한다.
- 당시에 어떤 모델 버전이 로드됐는가?
- 어떤 system prompt와 도구 정의가 컨텍스트에 들어갔는가?
- 모델이 실제로 어떤 도구를 호출했는가?
- 도구는 어떤 내용을 반환했는가?
- 어느 단계에서 사람의 승인을 우회했는가?
- 배포자가 재플레이 가능한 로그를 보관했는가?
이 문제들이 해결되지 않으면 장애 원인을 모델 웨이트로 귀속하기 어렵다.
‘이상 행동’을 먼저 테스트 기록으로 바꾸기
현재 확인 가능한 정보는 제한적이다.
공개된 뉴스 요약에는 다음과 같은 핵심 항목이 없다.
- 모델명
- 이상 행동의 유형
- 트리거 프롬프트
- 테스트 방법
- 성능 지표
- 실행 가능한 코드
이는 pedantic한 요구가 아니다. 보안 평가와 일반 기능 평가 모두 먼저 입력, 환경, 관측 지표를 고정해야 한다.
다음은 최소한의 기록 템플릿이다. 원래 보고서를 대체할 수는 없지만, 논의가 스크린샷과 결론만 남는 것을 막는 데 도움이 된다.
from dataclasses import asdict, dataclass
from datetime import datetime, timezone
import hashlib
import json
@dataclass
class EvalCase:
case_id: str
model_name: str
model_revision: str
model_hash: str
prompt_hash: str
tool_schema_hash: str
output: str
tool_calls: list
passed: bool
def sha256(text: str) -> str:
return hashlib.sha256(text.encode("utf-8")).hexdigest()
def run_case(model, case_id, system_prompt, user_prompt, tools):
output = model.generate(
system=system_prompt,
prompt=user_prompt,
tools=tools,
)
return EvalCase(
case_id=case_id,
model_name=model.name,
model_revision=model.revision,
model_hash=model.weights_hash,
prompt_hash=sha256(user_prompt),
tool_schema_hash=sha256(json.dumps(tools, sort_keys=True)),
output=output.text,
tool_calls=output.tool_calls,
passed=False,
)
record = run_case(
model=model,
case_id="unknown-behavior-001",
system_prompt=system_prompt,
user_prompt=user_prompt,
tools=tool_schemas,
)
record.passed = policy.evaluate(record)
record_dict = asdict(record)
record_dict["timestamp"] = datetime.now(timezone.utc).isoformat()
with open("eval_records.jsonl", "a", encoding="utf-8") as file:
file.write(json.dumps(record_dict, ensure_ascii=False) + "\n")
여기서 model, system_prompt, user_prompt, tool_schemas, policy는 평가 환경에서 제공해야 한다. 위 코드가 모델의 ‘악의’를 자동으로 알아낼 수는 없다. 버전 고정, 해시 기록, 도구 호출 보존, 감사 가능한 기록 생성만 담당한다.
신뢰할 만한 보고서에는 최소한 다음 항목이 포함되어야 한다.
- 환경: 운영체제, 추론 프레임워크, 양자화 방식, GPU, 의존성 버전
- 입력: 의심스러운 문장 한 줄이 아니라 전체 트리거 프롬프트와 컨텍스트
- 출력: 원본 모델 출력과 모든 도구 호출
- 결과: 성공한 재현 횟수, 실패 횟수, 대조군
- 영향: 모델이 무슨 말을 했는지가 아니라 실제로 어떤 피해가 발생했는지
- 조치: 웨이트 업그레이드, 도구 권한 축소, Prompt 조정, 실행 정책 변경 여부
모델명과 행동 유형이 공개되기 전까지는 “Cohere가 이상 행동을 보고했다”고 말할 수 있을 뿐이다. “특정 모델이 시스템을 공격하려 했다”고 쓰거나, 한 번의 출력을 곧바로 학습 데이터, 모델 의도, alignment 실패의 결과로 단정할 수는 없다.
오픈 웨이트라고 해서 책임까지 공개되는 것은 아니다
오픈 웨이트의 가치는 현실적이다.
배포자는 코드를 확인하고, 모델을 교체하고, 데이터를 오프라인으로 처리하며, 원하는 속도로 업데이트할 수 있다. 폐쇄형 API에서는 이 모든 행동을 할 수 없다.
하지만 웨이트를 공개하면 일부 관리 책임도 배포자에게 넘어간다.
텍스트 생성 인터페이스만 제공하는 모델이라면 배포자는 일반적으로 다음 항목만 관리하면 된다.
- API Key
- 사용자 입력
- 모델 출력
- 요청 속도 제한과 기본 콘텐츠 정책
로컬에서 실행하는 오픈 웨이트 모델은 다음 항목까지 처리해야 할 수 있다.
- 웨이트 출처와 무결성 검증
- 추론 서비스와 네트워크 노출 범위
- 사용자 정의 system prompt
- 도구 호출 화이트리스트
- 샌드박스와 컨테이너 격리
- 자격 증명 마운팅
- 버전 업그레이드와 회귀 테스트
- 로컬 로그의 접근 제어와 보존 기간
이것이 “오픈 웨이트라고 책임까지 공개되는 것은 아니다”라는 의미다.
웨이트를 내려받을 수 있다는 사실은 이용 위험까지 배포자에게 이전됐다는 뜻이 아니다. 수정이 자유롭다는 사실도 수정한 뒤의 행동에 여전히 배포자가 책임져야 한다는 의미는 아니다.
폐쇄형과 오픈 웨이트를 비교할 때 실제로 유용한 질문은 “어느 쪽이 더 안전한가”가 아니라 “각 제약의 책임이 누구에게 있는가”다.
API 공급자가 중앙집중식 감사와 접근 제어를 제공한다면 배포자는 작업을 줄일 수 있다. 오픈 웨이트를 사용한다면 배포자가 빠진 통제를 직접 보완해야 한다. 그러지 않으면所谓 ‘자체 배포’는 안전 관련 비용만 이용자에게 넘기는 셈이다.
실제 위험은 시스템 권한에서 비롯될 수 있다
LLM을 AI Agent에 넣으면 위험은 모델이 생성한 텍스트에서만 오는 것이 아니다.
더 큰 문제는 다음과 같은 실행 경로다.
사용자 입력
→ Agent 계획 수립
→ LLM 도구 선택
→ 도구 실행기가 매개변수 수신
→ shell / 파일 / 네트워크 / API 호출
→ 결과가 컨텍스트로 반환
→ Agent가 다음 단계 결정
모델이 의심스러운 텍스트를 출력했다면 최대 logs를 오염시킬 뿐이다.
그 출력으로 명령을 생성했고 실행기가 운영 환경의 자격 증명에 접근할 수 있다면 위험等级은 즉시 높아진다.
흔히 발견되는 문제는 다음과 같다.
- 도구 권한이 과도함: 파일 읽기 도구가 자격 증명 디렉터리에도 접근할 수 있다.
- 매개변수 검증 부재: 네트워크 요청 도구가 모든 URL을 허용한다.
- 명령을 곧바로 실행함: shell 도구에 명령 화이트리스트가 없다.
- 승인 단위가 너무 큼: 사용자가 작업 하나를 승인하면 이후 모든 단계가 기본 실행된다.
- 컨텍스트 주입: 웹페이지, 이메일, 문서의 명령이 우선순위가 높은 명령으로 취급된다.
- 로그 부족: 최종 답변만 저장하고 Prompt, 도구 매개변수, 반환값은 저장하지 않는다.
이러한 시스템은 ‘모델 제안’과 ‘시스템 실행’을 분리해야 한다.
간단한 원칙은 모델이 동작을 제안할 수는 있지만, 실제 동작은 결정론적 정책 계층을 통과해야 한다는 것이다. 정책 계층은 호출 주체, 도구, 매개변수 범위, 리소스 경로, 승인 상태를 검사한다.
예를 들어 네트워크 도구는 임의의 URL을 기본 허용해서는 안 된다. shell 도구가 모든 환경 변수를 기본 상속해서는 안 된다. 자격 증명은 일반 파일 읽기 인터페이스를 통해 모델에 노출해서는 안 된다.
안전을 “위험한 명령을 실행하지 마세요”라는 Prompt에 의존할 수는 없다. Prompt는 부드러운 제약일 뿐이다. 권한 통제는 실행기, 컨테이너, 네트워크 정책, 승인 시스템에 구현되어야 한다.
배포자와 제공자의 책임은 분리해야 한다
이 사건에서 “누구의 모델이 문제였는가”만 물으면 충분하지 않다.
실무적으로는 책임을 두 계층으로 나누는 편이 낫다.
모델 제공자
제공자는 다음 내용을 제공해야 한다.
- 명확한 모델 버전과 웨이트 검증값
- 알려진 위험 기능과 남용 시나리오
- 재현 가능한 보안 평가 스크립트
- 권장 system prompt와 도구 권한 기준선
- 업그레이드 안내와 알려진 문제 목록
- 필요할 경우 고위험 기능을 빠르게 비활성화하는 설정 방식
오픈 웨이트 모델에는 통합 관리 서비스가 없다. 제공자가 모든 배포를 통제하기는 어렵지만, 최소한 명확한 ‘사용 경계’를 제시할 수 있어야 한다.
배포자
배포자는 다음 내용을 기록해야 한다.
- 모델명, 버전, 웨이트 해시
- 전체 Prompt와 컨텍스트
- 도구 schema
- 도구 호출 매개변수와 반환값
- 사람의 승인 결과
- 추론 엔진, 양자화 방식, 의존성 버전
- 이상 행동과 재현 단계
로그에 최종 응답만 남기면 안 된다. 그렇지 않으면 문제가 모델, 도구 반환 내용, 오케스트레이션 계층 중 어디에서 발생했는지 판단할 수 없다.
제공자와 배포자가 서로 책임을 떠넘겨서도 안 된다. 제공자는 모델과 알려진 위험 정보를 제공한다. 배포자는 어떤 기능을 연결할지, 어떤 격리를 적용할지를 결정한다.
편집자의 정리
이 사건이 중요한 이유는 어떤 모델의 ‘통제 상실’을 이미 증명했기 때문이 아니다. 현재 요약에는 모델명, 행동 유형, 테스트 방법, 재현 데이터가 없어 그 결론을 뒷받침할 수 없다. 진짜 드러난 문제는 오픈 모델을 AI Agent에 연결한 뒤 감사 책임이 비어 버리기 쉽다는 점이다. 웨이트는 제공자가 전달하지만 Prompt, 도구, 권한은 배포자가 조립한다. 사고가 나면 서로에게 책임을 넘기기가 쉽다.
앞으로 Agent 사고 복구는 “어떤 모델을 사용했는가”를 묻는 방식에서 전체 실행 경로를 기록하는 방향으로 바뀔 가능성이 크다. 입력, 모델 버전, 도구 매개변수, 정책 결정, 실제 영향을 함께 남기는 방식이다. 이는 과거의 모델 안전 논쟁과 다르다. 예전에는 모델이 나쁜 텍스트를 생성하는지 주로 다뤘지만, 이제는 시스템이 그러한 출력을 실제 동작으로 전환하는지를 봐야 한다.
대응은 세 단계로 진행할 수 있다. 먼저 모델과 의존성 버전을 고정한다. 다음으로 Prompt와 도구 호출을 재생한다. 마지막으로 권한 경계와 승인 기록을 확인한다. 여전히 확인되지 않은 부분은 남아 있다. 완전한 테스트 기록이 없으면 근본 원인이 웨이트, Prompt, 도구 설계, 특정 배포 설정 중 어디에 있는지 판단할 수 없다. 오픈 소스와 폐쇄형 모델 중 무엇을 쓸지 계속 논쟁하는 것은 재현을 대신할 수 없다.