#Prompt工程

共 37 篇带此标签

37 편 최신 2026-10-26
이전 · #Prompt工程 총 11편
실전

거부 학습을 제거한 LLM, Prompt Injection에 더 취약하다

Project Discovery가 refusal 학습을 약화한 LLM을 Nuclei 템플릿 작성에 적용한 결과, 모델의 유용성은 높았지만 외부 콘텐츠에 휘둘러 실행 권한을 빼앗길 위험도 커졌다. 보안 도구는 모델의 답변 거부 여부에 기대지 말고 권한을 제한해야 한다.

2026-10-21 출처 2026-10-19 7 분 240 조회
실전

WhatsApp의 숨은 지시문이 드러낸 LLM 고객지원 보안 위험

WhatsApp 도움말 페이지에 숨어 있던 LLM용 지시문이 고객지원 Agent의 판단을 바꾸고Jj内外同城激情 compliance 책임까지 흐릴 수 있다는 점이 Security Researchers를 통해 Issued되었고 Hacker News에서도 논란이 커졌다. 핵심은 외부 콘텐츠를 신뢰할 수 있는 지시문과 구분하고, 고위험 조치에는 결정론적 규칙과 사람의 승인을 적용하는 데 있다.

2026-10-21 출처 2026-10-19 7 분 240 조회
실전

Microsoft Copilot 런타임을 Rust로 이관, 12만 달러면 끝? — 숨은 전제 3가지

Microsoft가 AI Agent만으로 Copilot 런타임을 Rust로 이관하며 12만 달러를 썼다. 기존 방식이면 6~18인월이 걸릴 작업을 5~10배 단축한 배경에는 탄탄한 테스트 커버리지, 명확한 경계, 통제 가능한 실패 비용이라는 세 가지 전제가 있었지, Agent 자체 성능이 전부가 아니었다.

2026-09-20 출처 2026-09-20 5 분 240 조회