'GPU 거품이 곧 꺼진다'고 말한 작은 모델 회사의 도발

모두가 'GPU 더!'를 외칠 때 나온 반대 목소리

요즘 AI 뉴스를 보면 온통 'GPU를 몇 만 장 샀다', '데이터센터에 수십조 원을 쏟아붓는다' 같은 이야기뿐이에요. 엔비디아 GPU는 없어서 못 살 지경이고요. 그런데 작은 비전 AI 모델을 만드는 회사 '문드림(Moondream)'이 'GPU 거품을 터뜨린다(Popping the GPU Bubble)'는 도발적인 제목의 글을 내놨어요. 모두가 '더 크게, 더 많이'를 외치는 와중에 '꼭 그래야 하나?'라고 되묻는 거죠.

거품이라고 부르는 이유

핵심 주장은 이래요. 지금 업계가 쏟아붓는 GPU 투자는 대부분 '모델을 훈련시키는' 쪽에 초점이 맞춰져 있는데, 정작 우리가 매일 AI를 쓸 때 일어나는 일은 '추론(inference)'이라는 거예요. 추론이 뭐냐면, 이미 다 학습된 모델에게 질문을 던져 답을 받아내는 단계예요. 훈련이 '시험 공부'라면 추론은 '실제 시험을 푸는 것'에 가까워요. 그리고 실제 서비스에서 비용이 꾸준히 나가는 쪽은 훈련이 아니라 이 추론이에요. 사용자가 쓸 때마다 계속 일어나니까요.

문제는, 거대한 모델로 추론을 하면 한 번 답하는 데도 비싼 GPU를 한참 물고 있어야 한다는 거예요. 문드림의 논리는 '대부분의 실제 작업은 그렇게까지 거대한 모델이 필요 없다'는 거예요. 작고 효율적인 모델로도 충분한 일이 많은데, 다들 습관처럼 가장 크고 비싼 모델을 쓰면서 GPU 수요를 부풀리고 있다는 거죠. 그러니 '값싸고 효율적인 추론'이 자리 잡으면, 지금처럼 무지막지하게 GPU를 쌓아두는 흐름은 거품처럼 빠질 수 있다는 게 이 글의 도발이에요.

작은 모델의 반격

문드림 자신이 바로 그 증거예요. 이 회사는 수십억 개 수준의 비교적 작은 파라미터(모델의 크기를 나타내는 단위)로 이미지를 이해하는 비전-언어 모델을 만들어요. 거대 모델에 비하면 한참 작지만, '이 사진에 뭐가 있어?', '이 영수증의 금액은?' 같은 실용적인 작업은 거뜬히 해내요. 게다가 작으니까 평범한 GPU, 심지어 노트북이나 엣지 기기(현장에 놓인 작은 장치)에서도 돌아가요. 클라우드 비싼 GPU에 매달릴 필요가 줄어드는 거죠.

여기에 더해, 비싼 최신 GPU만이 답이 아니라는 점도 짚어요. 모델이 작고 효율적이면 한 세대 전의 저렴한 GPU나 놀고 있는 유휴 자원으로도 충분히 서비스를 굴릴 수 있어요. '꼭 최신 칩을 줄 서서 사야만 AI를 한다'는 통념에 균열을 내는 거예요.

업계 흐름에서 보면

사실 이건 문드림 혼자만의 외침은 아니에요. 작은 모델(SLM, 소형 언어모델)로 충분한 일을 처리하자는 흐름, 모델을 가볍게 압축하는 양자화(quantization)·증류(distillation) 기술, 그리고 추론 비용을 줄이는 각종 최적화가 업계 전반에서 뜨겁게 연구되고 있어요. 한쪽에선 'AGI를 향해 모델을 끝없이 키우자'는 진영이 있고, 다른 한쪽엔 '대부분의 실수요는 작고 효율적인 모델로 풀린다'는 진영이 있어요. 문드림의 글은 후자의 목소리를 가장 선명하게 대변하는 셈이에요. 누가 맞을지는 아직 모르지만, 두 흐름이 부딪히며 산업의 균형을 잡아가는 중이에요.

한국 개발자에게

이건 비용에 민감한 우리에게 아주 실용적인 메시지예요. AI 기능을 붙일 때 무작정 가장 크고 비싼 API부터 부르지 말고, '이 작업에 정말 그만한 모델이 필요한가?'를 먼저 따져보라는 거죠. 영수증 인식, 이미지 분류, 간단한 요약 같은 일은 작은 모델로 충분한 경우가 많고, 그러면 비용이 수십 분의 일로 줄어들 수도 있어요. 특히 사용자가 많아질수록 추론 비용이 눈덩이처럼 불어나는데, 여기서 작은 모델을 잘 고르는 안목이 곧 회사의 마진을 지키는 일이 돼요.

또 작은 모델은 우리 서버나 기기 안에서 직접 돌릴 수 있어 데이터 보안에도 유리하고요. 무조건 큰 게 좋다는 분위기에 휩쓸리지 말고, '적정 기술'을 고르는 감각을 길러두면 두고두고 무기가 돼요.

여러분의 서비스에서 지금 쓰는 AI 모델, 혹시 필요 이상으로 큰 걸 쓰고 있진 않나요? 작은 모델로 바꿔도 될 만한 작업이 있다면 무엇일까요?