같은 Three.js 과제로 10개 모델·하네스 조합을 비교한 실험, 무엇을 읽어야 하나

AI 코딩 도구를 고를 때 우리는 흔히 벤치마크 점수나 마케팅 문구를 본다. 하지만 실무자에게 정작 필요한 정보는 '내가 던지는 것과 비슷한 작업을 실제로 시켰을 때 어떤 결과가 나오는가'다. 최근 공개된 한 개인 실험은 바로 그 질문에 답하려는 시도다. 작성자는 동일한 프롬프트 하나를 여러 모델과 하네스(harness, 모델을 감싸 도구 호출·턴 관리를 담당하는 실행 환경) 조합에 던져, 열 가지 구성이 각각 어떤 결과를 내는지 비교했다.

무엇을 어떻게 테스트했나

사용된 프롬프트는 구체적이면서도 시각적으로 검증 가능한 과제였다. 요구 사항은 단일 페이지 Three.js 기반의 SF 격납고 장면으로, 공중에 떠 있는 드론, 애니메이션되는 경고등, 발광(emissive) 활주로 스트립, 은은한 볼류메트릭 느낌의 안개 평면을 포함하고, 여기에 드론 편대 토글과 시네마틱 카메라 경로까지 넣어 인라인 자바스크립트가 담긴 자체 완결형 HTML 파일 하나로 출력하라는 것이었다. 이 과제는 3D 렌더링, 상태 토글, 애니메이션 루프, 카메라 제어라는 서로 다른 성격의 요소를 한 번에 요구하기 때문에, 모델이 복합 지시를 얼마나 빠짐없이 소화하는지를 눈으로 확인하기에 적합하다.

작성자는 이 실험을 자신이 쓰는 '/goal 모드'에서 진행했고, 각 실행에 대해 입력 토큰과 출력 토큰, 소요 시간, 도구 오류 같은 지표를 함께 기록했다. 세부 조건도 명시했다. 입력 토큰에는 캐시된 입력이 포함되고, 출력 토큰은 추론(reasoning)을 포함한 전체 생성량이며, 하네스가 추론을 따로 보고하는 경우에만 그 일부를 별도 열에 표시한다는 식이다. 특정 어댑터(DSH)는 추론량을 별도로 보고하지 않으며, 그 지속 시간은 두 턴 사이의 대기 시간을 뺀 실제 활동 시간을 합산한 값이다. 값이 없는 항목은 대시(—)로 표시했다.

측정 방식의 미묘함이 곧 함정

이 실험에서 실무자가 먼저 새겨야 할 대목은 결과 수치 자체가 아니라 '수치를 어떻게 셌는가'다. 같은 '출력 토큰'이라도 어떤 하네스는 추론 토큰을 합쳐서 보고하고 어떤 하네스는 분리해 보고한다. 어떤 어댑터는 추론량을 아예 드러내지 않는다. 소요 시간도 턴 사이 멈춤을 포함하느냐 제외하느냐에 따라 크게 달라진다. 즉, 겉으로 보이는 토큰 수나 시간을 조합 간에 단순 비교하면 사과와 오렌지를 견주는 셈이 되기 쉽다. 작성자가 조건을 일일이 각주로 달아둔 이유가 여기에 있으며, 이런 실험 결과를 읽을 때는 표의 숫자보다 그 정의를 먼저 확인해야 한다.

하네스 변수가 결과를 좌우한다는 점도 중요하다. 우리는 흔히 '어떤 모델이 더 좋은가'를 묻지만, 실제 코딩 경험은 모델 단독이 아니라 모델과 하네스의 조합에서 나온다. 같은 모델이라도 도구 호출을 어떻게 중개하는지, 몇 번의 턴으로 나눠 진행하는지, 오류를 어떻게 되먹임하는지에 따라 산출물의 완성도와 속도가 달라진다. 이 실험이 '모델'이 아니라 '모델/하네스 조합'을 단위로 삼은 것은 그 자체로 실무에 시사하는 바가 크다.

실무자가 취할 것과 남는 한계

이런 개인 벤치마크의 가치는 재현성과 검증 가능성에 있다. 프롬프트가 공개돼 있고 산출물이 브라우저에서 바로 열어볼 수 있는 HTML 한 파일이므로, 관심 있는 팀은 자신들이 쓰는 모델·하네스로 같은 과제를 던져 직접 대조해볼 수 있다. AI 도구 도입을 검토하는 조직이라면 벤더가 제시하는 일반 벤치마크 대신, 자사 업무와 닮은 소규모 과제를 하나 정해 여러 조합에 돌려보는 방식이 훨씬 신뢰할 만한 판단 근거가 된다.

동시에 한계도 분명하다. 표본은 단 하나의 프롬프트이고, 시각적 결과물의 품질은 상당 부분 주관적 평가에 의존한다. 토큰 수나 시간 같은 정량 지표가 곧 '좋은 코드'를 뜻하지도 않는다. 도구 오류 횟수가 적다고 완성도가 높다는 보장도 없다. 따라서 이 실험은 특정 조합에 대한 최종 판결이라기보다, 각자가 자신의 환경에서 같은 방법론을 적용해볼 만한 하나의 틀로 읽는 편이 옳다. 결국 핵심은 남이 매긴 순위를 외우는 것이 아니라, 측정 조건을 통제한 채 내 작업으로 직접 비교하는 습관에 있다.