AI 에이전트가 사람의 개입 없이 실제 머신러닝 엔지니어링 문제를 얼마나 잘 풀어내는가는 최근 업계에서 가장 뜨거운 질문 중 하나다. 프라임 인텔렉트(Prime Intellect)가 공개한 'NanoGPT Speedrun Frontier'는 이 질문에 정면으로 답하려는 시도다. 18개의 프런티어(frontier)급 모델에게 nanoGPT 옵티마이저 스피드런이라는 동일한 과제를 자율적으로 수행하게 한 뒤, 총 153회의 실행 결과를 나란히 비교할 수 있게 정리한 것이 이 프로젝트의 핵심이다.
nanoGPT 스피드런이라는 과제
nanoGPT 스피드런은 GPT 계열의 소형 언어 모델을 정해진 목표 성능까지 최대한 빠르게 학습시키는 것을 겨루는, ML 커뮤니티에서 잘 알려진 벤치마크성 도전이다. 모델 구조를 바꾸든, 학습률 스케줄을 손보든, 옵티마이저 자체를 개선하든, 정해진 하드웨어에서 목표 손실값에 더 빨리 도달하면 이기는 방식이다. 이 과제가 에이전트 평가에 적합한 이유는 분명하다. 정답이 하나로 고정돼 있지 않고, 성능이라는 객관적 지표로 결과를 측정할 수 있으며, 코드 수정과 실험 반복이라는 실제 엔지니어의 작업 흐름을 그대로 요구하기 때문이다. 단순히 질문에 답하는 능력이 아니라, 가설을 세우고 실험을 돌려 검증하는 반복 루프를 감당할 수 있는지가 드러난다.
이번 실험에서 특히 눈여겨볼 부분은 '옵티마이저' 스피드런이라는 초점이다. 옵티마이저 개선은 딥러닝 학습에서 성능과 비용을 좌우하는 민감한 영역이고, 사소한 하이퍼파라미터 변화가 학습 안정성을 무너뜨리기도 한다. 에이전트가 이런 좁고 까다로운 문제 공간에서 의미 있는 개선을 스스로 찾아낼 수 있는지는, 자율 연구 에이전트의 실효성을 가늠하는 좋은 리트머스 시험지가 된다.
결과가 아니라 '과정'을 공개했다는 점
이 프로젝트가 단순 리더보드와 구별되는 지점은 41개의 큐레이션된 전체 에이전트 트라젝토리(trajectory)를 함께 열어봤다는 데 있다. 여기에는 에이전트가 실제로 호출한 도구(tool call), 작업을 분담시킨 서브에이전트(subagent), 그리고 사고 과정을 적어둔 스크래치패드(scratchpad)까지 포함된다. 최종 점수만 보여주는 벤치마크는 '무엇을 했는가'는 알려주지만 '왜, 어떻게 했는가'는 감춘다. 반면 전체 궤적이 공개되면, 어떤 모델이 헛된 시도에 시간을 낭비했는지, 어디서 잘못된 가설에 빠졌는지, 성공한 실행은 어떤 판단으로 방향을 틀었는지를 직접 뜯어볼 수 있다.
한국 실무자에게 주는 시사점
국내에서 LLM 에이전트를 실제 파이프라인에 붙이려는 팀에게 이 데이터가 갖는 가치는 '모델 선택의 근거'에 있다. 같은 과제를 18개 모델이 여러 번 수행한 기록은, 특정 벤치마크 점수 하나로는 보이지 않는 안정성과 편차를 드러낸다. 어떤 모델은 평균 성능은 낮아도 편차가 작아 예측 가능하고, 어떤 모델은 최고 기록은 화려하지만 실행마다 결과가 크게 흔들릴 수 있다. 자율 실행을 프로덕션에 맡기려면 이 '재현성'과 '실패 양상'을 반드시 확인해야 하며, 공개된 트라젝토리는 그런 검토의 실물 자료가 된다. 또한 서브에이전트를 활용한 작업 분해 방식은, 사내에서 멀티 에이전트 구조를 설계할 때 참고할 만한 실전 패턴을 제공한다.
다만 한계도 함께 짚을 필요가 있다. nanoGPT 옵티마이저 스피드런은 명확한 지표와 잘 정의된 환경을 가진 과제이며, 요구사항이 모호하고 이해관계자 협의가 얽힌 현실의 엔지니어링과는 거리가 있다. 특정 과제에서의 우수함이 곧 범용적 자율성으로 이어진다고 보기는 어렵다. 또한 153회라는 실행 규모는 경향을 읽기에는 유용하지만, 통계적으로 미세한 순위 차이를 단정하기에는 신중해야 한다. 그럼에도 결과 수치와 함께 사고 과정을 통째로 열어 검증 가능하게 만든 접근 방식 자체는, 에이전트 평가가 나아가야 할 방향을 잘 보여준다. 화려한 점수판보다, 무엇을 어떻게 시도했는지 들여다볼 수 있는 투명성이 실무 도입 판단에는 훨씬 값지기 때문이다.