GPU Mode가 Core Automation과 함께 연 '오토리서치(auto-research)' 주제 경진대회의 참가 후기가 공개됐다. 과제는 배치 형태의 정방 행렬에 대한 컴팩트 하우스홀더(Householder) QR 분해 커널을 구현하는 것이었고, 글쓴이는 183명 중 12위, 기준(baseline) 대비 232배 속도 향상을 기록했다. 흥미로운 지점은 성과 자체보다 그가 문제를 푼 방식이다. 사람이 손으로 커널을 깎는 대신, LLM 에이전트에게 반복적으로 코드를 생성·측정·제출하게 하는 '루프 엔지니어링'으로 성능을 끌어올렸다. 14일 동안 제출한 횟수가 1,500번을 넘겼다는 점이 그 방식의 성격을 단적으로 보여준다.
왜 이 문제가 '루프'에 적합했나
대회는 참가자에게 popcorn이라는 CLI를 제공했다. 에이전트가 이 도구로 직접 테스트·벤치마크·리더보드 제출까지 수행할 수 있어, 사람이 개입하지 않아도 자동으로 반복이 돈다. 게다가 채점기는 전체 기하평균 실행 시간뿐 아니라 형태(shape)별 세부 타이밍까지 피드백으로 돌려줬다. 즉 에이전트가 매 시도마다 '어디가 느린지'를 구체적 수치로 받아 다음 수정에 반영할 수 있는, 촘촘한 피드백 루프가 갖춰져 있었다. 제출도 간격만 두면 사실상 무제한이었는데, 모두가 한꺼번에 몰리자 큐가 밀리고 Modal 크레딧이 소진되는 일까지 벌어졌다. 실무적으로 보면, 자동화된 개선 루프의 성패는 결국 '기계가 읽을 수 있는 목적 함수와 즉각적 측정 채널'이 있느냐에 달려 있다는 점을 이 대회 구조가 잘 보여준다.
입력은 batch × n × n 형태의 FP32 행렬이고, 출력은 torch.geqrf가 반환하는 컴팩트 표현이다. 상삼각에는 R이, 대각선 아래에는 하우스홀더 벡터가 저장되며 별도의 tau 벡터가 반사 계수를 담는다. 채점기는 이 (H, tau)로 Q를 복원해 A ≈ QR을 검증한다. 내부 연산에서는 FP16·FP8·NVFP4 같은 저비트 정밀도를 써도 되지만, 최종 인수는 FP32 기준의 QR 검증을 통과해야 했다. 512×512가 기하평균에서 비중이 컸고 1024·2048·4096, 그리고 n=32·176·352까지 형태가 넓게 분포했다.
커널 최적화의 핵심 난제
하우스홀더 QR의 본질적 어려움은 순차 의존성이다. j+1번째 반사자는 j번째 반사자가 이미 적용된 행렬에서 만들어지므로 단계를 재배치하거나 융합할 수 없다. 이 직렬 행렬-벡터 연산은 SM의 느린 벡터 레인에서 돌고, 정작 빠른 텐서 코어는 놀게 된다. 고전적 해법이 블록형(blocked) 알고리즘이다. 32나 64개 열로 된 좁은 패널 안에서만 직렬 작업을 처리하고, 패널의 여러 반사자를 WY 표현으로 압축해 나머지 큰 블록에는 세 번의 연속 GEMM으로 한 번에 적용한다. 직렬 작업은 패널에 가두고 나머지는 텐서 코어가 좋아하는 행렬곱 형태로 바꾸는 것이다. 여기에 저정밀도를 나쁜 조건수(ill-conditioned) 입력에서도 안정적으로 쓰는 문제, 그리고 큰 행렬은 배치가 적어 텐서 코어를 못 채우고 n=32는 너무 작아 여러 행렬을 한 커널에 몰아넣어야 하는 형태 편차 문제가 더해졌다.
에이전트를 어떻게 부렸나
글쓴이는 GPU 커널 최적화 기초를 1년쯤 다뤘을 뿐 이 분야 전업자가 아니었다. 그의 바로 위 순위가 엔비디아 수석 엔지니어였다는 점을 스스로 '언더독'이라 표현한 이유다. 그럼에도 그는 도메인 지식이 프롬프트 품질을 좌우한다고 강조한다. 아는 만큼 '모른다는 사실조차 몰랐던 것'을 '명확히 물어볼 수 있는 것'으로 바꿀 수 있기 때문이다. 실제 준비 과정에서 그는 Claude와 오가며 개념을 잡고, 블록형 하우스홀더에 트레일링 WY 업데이트를 얹는 구조를 방향으로 정했다. 셋업은 Codex에게 맡겨 문제 정의서와 AGENTS.md, 제출 이력을 기록하는 log.md를 만들게 했다. 이 로그는 단순 기록을 넘어, 이후 세션의 에이전트가 '이 아이디어는 이미 시도했는지'를 빠르게 확인하는 증거 자료로 기능했다. 3,000µs 벽에 부딪힌 뒤 그가 로깅에 더 투자한 것도 같은 맥락이다.
도구는 ChatGPT Pro와 Claude Pro, 프로파일링용 Modal 크레딧을 조합했다. baseline이 cuSolver 기반 torch.geqrf였음을 감안하면, 잘 알려진 문제에서도 에이전트가 기성 라이브러리를 상당 폭 앞질렀다는 사실이 눈에 띈다. 다만 저자 스스로 밝히듯, 하네스와 에이전트 루프에만 기대도 baseline 대비 준수한 속도는 얻을 수 있지만 상위 10위권은 어렵다. 결국 자동화 루프는 사람의 이해를 대체하는 것이 아니라 증폭한다. 이 경험이 한국 실무자에게 주는 시사점도 여기에 있다. QR 같은 행렬 분해는 Shampoo 계열 전처리 옵티마이저나 Kimi가 쓴 Muon처럼 LLM 학습 최적화에서 다시 등장하는 주제이며, 측정 가능한 목표·즉각적 피드백·성실한 로깅이라는 세 조건이 갖춰질 때 에이전트 기반 반복 최적화가 실제 성능 개선으로 이어질 수 있다는 점이다.