작은 모델 여러 개가 거대 모델을 이긴다? vLLM의 '마이크로 에이전트' 실험

무슨 일이냐면요

AI 성능을 끌어올리는 방법 하면 보통 '더 큰 모델'을 떠올리잖아요. 파라미터가 많을수록 똑똑하다는 공식이요. 그런데 요즘은 분위기가 좀 바뀌고 있어요. '하나의 천재 모델'보다 '여러 모델이 협업하는 팀'이 더 나을 수 있다 는 아이디어가 힘을 얻고 있거든요. 이번에 LLM 서빙 엔진으로 유명한 vLLM 쪽에서 공개한 마이크로 에이전트(Micro-Agent) 가 딱 그 흐름의 실험이에요.

잠깐, 용어부터 짚고 갈게요. vLLM 이 뭐냐면요, 거대 언어 모델을 빠르고 효율적으로 '서빙'(실제 서비스에서 응답을 내보내는 일)해주는 오픈소스 엔진이에요. PagedAttention이라는 기술로 GPU 메모리를 알뜰하게 써서 처리량을 크게 끌어올린 걸로 유명하죠.

핵심 아이디어

마이크로 에이전트의 발상은 이래요. 어려운 문제를 거대한 프런티어 모델 하나한테 통째로 던지는 대신, 작은 모델들이 역할을 나눠 협업 하게 하는 거예요. 회사로 치면 슈퍼히어로 한 명에게 다 맡기는 게 아니라, 작은 팀이 초안을 쓰고 → 다른 멤버가 검토하고 → 또 다른 멤버가 검증하고 → 투표로 최종안을 고르는 식이죠.

혼자서는 실수하던 작은 모델도 이렇게 '서로 비판하고 고쳐주는' 과정을 거치면 정확도가 확 올라가요. 한 모델이 틀려도 다른 모델이 잡아주니까요. 이런 식으로 여러 작은 모델의 협업 결과가 비싼 프런티어 모델 한 방에 맞먹거나 앞서는 경우가 생기는 거예요.

여기서 vLLM이 등장하는 이유가 중요해요. 이 협업을 추론(서빙) 계층 안쪽에서 돌린다는 점이에요. 이게 뭐냐면요, 보통은 외부에서 모델 API를 여러 번 호출하면서 협업을 시키는데 그러면 호출 비용과 지연이 쌓여요. 반면 서빙 엔진 안에서 여러 호출을 묶어 병렬로 처리하면, 같은 GPU로 훨씬 싸고 빠르게 '여러 번 생각하기'를 할 수 있거든요. 즉 협업 비용을 인프라 단에서 깎아내는 게 핵심이에요.

업계 맥락에서 보면

여러 에이전트를 협업시키는 시도 자체는 새롭진 않아요. 마이크로소프트의 AutoGen, CrewAI, LangGraph 같은 프레임워크가 이미 '에이전트들이 대화하며 일을 나눠 한다'는 그림을 그려왔어요. '여러 모델의 답을 섞어 더 좋은 답을 만든다'는 Mixture-of-Agents 연구 흐름도 있고요.

또 하나 짚을 맥락은 추론 시점 연산 확장(inference-time scaling) 이에요. 오픈AI의 o1 계열이 '답하기 전에 더 오래 생각하게' 만들어 성능을 올린 것처럼, 요즘 업계는 '학습을 더 크게'에서 '추론 때 머리를 더 굴리게'로 무게추가 이동 중이에요. 마이크로 에이전트는 이 두 흐름, 즉 다중 에이전트 협업과 추론 시점 확장을 서빙 엔진 레벨에서 효율적으로 합치려는 시도라는 점에서 의미가 있어요.

한국 개발자에게는

실무적으로 매력적인 지점은 비용 이에요. GPT급 거대 모델 API를 매번 부르면 청구서가 무섭잖아요. 작은 오픈소스 모델 여러 개를 자체 GPU에서 협업시켜 비슷한 품질을 낸다면, 비용을 통제하면서 데이터도 외부에 안 보내고 처리할 수 있어요. 보안이 중요한 국내 기업 환경에 특히 잘 맞는 방향이죠.

다만 협업이라는 게 공짜는 아니에요. 모델을 여러 번 돌리니 그만큼 연산이 더 들고, 응답이 느려질 수 있어요. '얼마나 정확해지는가' 대 '얼마나 더 느리고 비싸지는가'의 균형을 직접 재보는 게 중요해요.

마무리

'큰 모델 하나'의 시대에서 '작은 모델들의 협업'으로, AI 아키텍처의 무게중심이 옮겨가고 있어요. 여러분이라면 서비스에 거대 모델 하나를 쓰시겠어요, 아니면 작은 모델 여러 개를 팀으로 묶으시겠어요? 어떤 작업에서 협업 방식이 빛을 발할 것 같으세요?