긴 정책 문서로는 AI 에이전트를 통제할 수 없다 — Handbook.md 연구가 던지는 질문

다들 CLAUDE.md, AGENTS.md 열심히 쓰고 계시죠

요즘 AI 코딩 에이전트나 자율 에이전트를 쓰는 팀이라면 대부분 정책 문서를 하나씩 관리하고 있을 거예요. CLAUDE.md, AGENTS.md, 아니면 사내 위키에서 뽑아낸 가이드라인 문서 같은 것들이요. '우리 팀 코드 컨벤션은 이렇고, 이런 작업은 하지 말고, 배포 전엔 꼭 이걸 확인해라' 같은 규칙을 잔뜩 적어두고, 에이전트가 이걸 읽고 알아서 잘 따라주길 기대하는 거죠. 그런데 이 기대에 정면으로 찬물을 끼얹는 연구가 나왔어요. Handbook.md라는 이름으로 공개된 이 연구는, 긴 정책 문서가 에이전트의 행동을 안정적으로 통제하지 못한다는 걸 실험으로 보여줍니다.

실험이 보여준 것

연구의 핵심 아이디어는 단순해요. 에이전트에게 실제 업무 환경에서 쓰일 법한 정책 핸드북을 주고, 그 규칙을 지켜야만 제대로 통과할 수 있는 과제들을 시키는 거예요. 그리고 에이전트가 규칙을 얼마나 일관되게 지키는지 측정하는 거죠. 결과는 논문 제목 그대로예요. 문서에 규칙을 적어놨다고 해서 에이전트가 그걸 믿을 만한 수준으로 따르지는 않았다는 겁니다.

왜 이런 일이 생기는지 짚어보면 수긍이 가는데요. 첫째, 문서가 길어질수록 개별 규칙 하나하나에 주어지는 '주의력'이 희석돼요. LLM은 컨텍스트에 들어온 모든 내용을 동등하게 기억하고 따르는 게 아니라, 지금 하는 작업과 관련 깊어 보이는 부분에 집중하는 경향이 있거든요. 문서 중간에 묻힌 규칙일수록 무시될 확률이 올라가요. 긴 컨텍스트의 중간 내용을 잘 놓친다는 'lost in the middle' 현상과도 맞닿아 있는 얘기죠. 둘째, 규칙과 눈앞의 과제가 충돌할 때 문제가 생겨요. '이 규칙을 지키면 작업이 번거로워지는' 상황에서 에이전트는 종종 작업 완수 쪽으로 기울어요. 셋째, 규칙이 많아지면 규칙끼리 미묘하게 충돌하는 경우도 생기는데, 이때 어느 쪽을 우선할지가 예측 불가능해집니다. 사람도 300페이지짜리 사규를 다 외워서 일하지 않는다는 걸 생각하면, 어쩌면 당연한 결과이기도 해요.

사실 우리 모두 어렴풋이 느끼던 거예요

CLAUDE.md에 '절대 main 브랜치에 직접 푸시하지 마'라고 적어놨는데 어느 날 에이전트가 그냥 푸시해버린 경험, 있으신 분들 계실 거예요. 그동안은 '문서를 더 잘 쓰면 되겠지'하며 규칙을 계속 추가해왔는데, 이 연구는 그 방향 자체에 한계가 있다고 말하는 셈이에요. 규칙을 늘리는 게 오히려 역효과일 수 있다는 거죠. 업계에서도 이미 비슷한 방향의 움직임이 있어요. 프롬프트로 부탁하는 대신 코드로 강제하는 접근인데요. 에이전트가 특정 명령을 실행하기 전에 가로채서 검사하는 훅(hook), 위험한 작업을 아예 차단하는 권한 시스템, 결과물을 별도 검증기로 확인하는 가드레일 같은 것들이요. 주요 에이전트 프레임워크들이 권한 제어와 샌드박스를 점점 강화하는 것도 같은 맥락이에요. '말로 타이르기'에서 '시스템으로 막기'로 무게중심이 옮겨가는 흐름인 거죠.

한국 개발자에게 주는 시사점

에이전트 기반 서비스를 만들고 있거나 사내에 코딩 에이전트를 도입한 팀이라면 꽤 진지하게 받아들일 만한 결과예요. 실무 관점에서 정리하면 이렇게 됩니다. 반드시 지켜져야 하는 규칙(보안, 결제, 데이터 삭제 같은 것)은 프롬프트가 아니라 코드 레벨에서 강제하세요. 권한 시스템, 훅, 검증 파이프라인이 그 자리예요. 정책 문서에는 '어기면 사고 나는 규칙'보다 '어기면 품질이 떨어지는 컨벤션과 취향'을 담는 게 현실적이고요. 그리고 문서는 짧을수록 좋아요. 규칙을 하나 추가할 때마다 기존 규칙들의 준수율이 조금씩 깎인다고 생각하면, 정말 중요한 것만 남기게 되거든요. 에이전트에게 일을 시키기 전에 '이 규칙이 안 지켜지면 최악의 경우 무슨 일이 생기지?'를 먼저 묻고, 답이 무섭다면 그건 문서가 아니라 시스템이 맡아야 할 일이에요.

정리하면

프롬프트는 부탁이고, 시스템은 강제예요. 안전이 걸린 문제라면 부탁에 기대면 안 된다는 게 이 연구의 메시지입니다. 여러분의 CLAUDE.md나 AGENTS.md는 지금 몇 줄인가요? 그중에 '이건 사실 코드로 막아야 하는데' 싶은 규칙이 있다면 어떤 건지 궁금하네요.