에이전트형 개발 도구를 둘러싼 담론은 신호보다 잡음이 많다. 개발자이자 저자인 한 블로거는 "소프트웨어 엔지니어가 된다는 것이 무엇인가"라는 질문 앞에서 스스로 느끼는 가면 증후군을 고백하며, 대형 모델 공급사들의 과열된 마케팅과 별개로 하네스(harness)와 모델의 결합이 실제로 강력한 도구임을 인정한다. 다만 그가 관찰한 바로는, 정말 놀라운 결과를 내는 사람들은 "이 직업의 종말"을 외치는 이들이 아니라 조용히 지렛대의 받침점을 탐색하는 이들이다. 그는 이 흐름을 아르키메데스의 지렛대에 빗대며, 도구를 어디에 어떻게 걸치느냐가 결과를 가른다고 말한다.
'할 수 있는가'는 시작일 뿐
지난 1년 사이 에이전트 하네스는 '이게 가능한가'라는 경계를 넘어섰다. 저자는 대형 모델의 경제성이 자신이 본 어떤 보고서 기준으로도 지속 가능해 보이지 않는다고 지적하면서도, 그 능력 자체가 사라지지는 않는다고 본다. 오히려 모델은 빠르게 작아지고 있고, 오픈 웨이트 모델 덕분에 성능 좋은 개인용 컴퓨터에서도 상당 수준의 작업이 가능해지고 있다. 아직 최상위 모델만큼은 아니지만 시간과 성능의 격차는 크지 않다는 것이 그의 판단이다.
그러나 '할 수 있는가'는 엔지니어링의 시작에 불과하다. 그는 20대에 용접을 배우던 경험을 끌어온다. 금세 무언가를 만들 수 있게 됐지만, 정작 자기가 만든 물건이 너무 무겁거나 커서 작업장 문 밖으로 꺼낼 수 없었다는 것이다. 결국 아세틸렌 토치로 다시 잘라내야 했던 그 경험의 교훈은 매체만 다를 뿐 동일하다. 무언가가 '어떻게 조립되는가'가 모든 차이를 만든다.
진짜 어려운 것은 '이음새'다
약간의 선견지명을 갖고 에이전트 하네스를 쓰면 "동작한다"를 넘어 "테스트 가능하다"까지 얻을 수 있다. 저자는 "레드/그린 TDD로 개발하라"는 프롬프트를 적극 활용한다고 소개한다. 하지만 그 이상으로 견고해지기는 어렵다. 코드가 어떻게 동작하는지, 그 API가 어떤 모습인지, 다른 소프트웨어와 어떻게 맞물리는지 같은 '이음새'는 과학인 동시에 예술이며, 지금 풀려는 문제와 오랜 기간 그 코드와 함께 살아가는 방식에 대한 관점과 경험, 추측에 의존하는 주관적 영역이다.
디버깅과 유지보수가 쉽고, 계층화되고, 조합 가능한 소프트웨어를 만드는 일은 여전히 상당한 재주를 요구하며, 광범위하고 사려 깊은 추론을 필요로 한다. 그리고 바로 이 지점에서 최전선 모델조차 부족하다고 그는 본다. 이해를 돕는 전제는 LLM이 '추론'하지 않는다는 사실이다. LLM은 예측하며, 모델 자체는 사실상 압축된 인간 지식이다. 인코딩된 인간 지식 안에 있는 것이라면 그 추론을 되울릴 수 있을 뿐이다. 그는 LLM의 추론 한계를 다룬 접근하기 쉬운 논문으로 "The Illusion of Thinking"을 언급하고, 행동의 결과를 예측하는 다른 연구 방향으로 JEPA 모델과 World Model, 얀 르쿤의 최근 강연을 살펴볼 것을 권한다.
도구를 더 잘 쓰는 법, 그리고 치명적 삼중고
그럼에도 LLM을 더 효과적으로 만드는 방법은 많다. 저자가 오늘날 목격하는 성과 대부분은 적절한 시점에 좋고 간결한 데이터를 제공하고, 자연어 피드백을 주는 결정론적 검증 도구를 붙여 모델이 스스로 교정하게 만드는 데서 나온다. 그가 정작 놀라워하는 것은 모델이 무엇을 쓸지 예측한다는 점이 아니라, 도구 호출과 지시 따르기에 능하다는 점이다.
이 지시 따르기의 이면에는 사이먼 윌리슨이 명명한 '치명적 삼중고(lethal trifecta)'가 있다. LLM은 좋은 조언과 나쁜 조언을 구분하지 못하며, 프롬프트 주입 공격을 언제나 일관되게 막는 것이 근본적으로 불가능하다. 정렬 작업과 안전 하네스, 샌드박스가 최악을 막는 장벽이 되어주지만 근본적인 틈은 남는다. 좋은 추론 없이 지치지 않고 지시만 따르는 존재는 그에게 오히려 공포의 대상이다.
저자는 후속 학습(RLHF)에 추론 흔적에 해당하는 것을 담아 모델을 훈련하는 방향의 발전을 기대한다. 깨끗한 인터페이스, 디버깅과 유지보수가 쉬운 소프트웨어를 만드는 일이 강화 평가의 핵심에 포함되기를 바라는 것이다. "그거 구현하기 쉽지"라며 도구부터 집어 드는 물결 속에서, 이음새를 신중히 검토하고 계획하고 손보는 능력은 에이전트의 도움 여부와 상관없이 더욱 중요해진다. 만병통치약은 없으며, 결국 문제에 맞는 추상화를 고르고 다시 손보는 일, 인지 부하를 관리하고 어디를 안정적으로 둘지와 어디를 유연하게 둘지를 배우는 일이 핵심이라는 것이 그의 결론이다. 참고로 그는 본문의 em대시를 AI가 아니라 자기가 직접 썼다고 덧붙였다.