맥북으로 돌리는 이미지-3D 변환, TRELLIS.2가 엔비디아 독점을 깼다

드디어 맥에서도 돌아가는 3D 생성 모델

한 장의 이미지로 3D 모델을 만들어주는 AI 기술, 들어보셨을 거예요. 게임 에셋을 만들거나 AR/VR 콘텐츠를 제작할 때 엄청나게 유용한 기술인데요, 지금까지는 한 가지 큰 벽이 있었습니다. 바로 엔비디아 GPU가 필수라는 점이었어요. CUDA라는 엔비디아 전용 가속 기술에 묶여 있어서, 맥북을 쓰는 개발자들은 눈물을 머금고 클라우드 GPU를 빌리거나 별도의 데스크톱을 준비해야 했거든요.

그런데 최근 shivampkumar/trellis-mac이라는 프로젝트가 공개되면서 이 상황이 바뀌기 시작했습니다. 마이크로소프트 리서치가 만든 TRELLIS.2 모델을 애플 실리콘(M1, M2, M3, M4 칩) 맥에서 네이티브로 돌릴 수 있게 포팅한 거예요. 이게 왜 중요하냐면, 이제 13인치 맥북 한 대만 있어도 이미지를 넣으면 바로 3D 메쉬가 튀어나오는 환경을 만들 수 있다는 뜻이거든요.

TRELLIS.2가 뭔지부터 알아볼까요

TRELLIS는 원래 마이크로소프트가 발표한 Structured LATent representation 기반의 3D 생성 모델이에요. 말이 어려운데, 쉽게 풀어보면 이런 거예요. 기존의 이미지-3D 모델들은 NeRF(뉴럴 방사장)나 가우시안 스플래팅 같은 기법으로 "보이는 모양"만 만들어냈거든요. 그런데 그렇게 만들어진 3D는 실제 게임이나 3D 프린팅에 바로 쓰기엔 메쉬 품질이 엉망인 경우가 많았어요.

TRELLIS는 이걸 해결하려고 잠재 공간(latent space)에 구조화된 표현을 심어놨습니다. 하나의 잠재 표현에서 메쉬(mesh), 래디언스 필드(radiance field), 3D 가우시안 세 가지를 동시에 뽑아낼 수 있게 설계한 거예요. 그래서 같은 입력 이미지로 고품질 메쉬와 사실적인 렌더링 결과를 모두 얻을 수 있습니다. 버전 2에서는 모델의 파라미터 규모가 커지고, 텍스처 퀄리티와 기하학적 디테일이 한 단계 올라갔어요.

맥에서 어떻게 돌아가는 걸까

여기서 기술적으로 재밌는 지점이 나옵니다. 원본 TRELLIS는 CUDA 커널에 의존하는 부분이 꽤 많았는데요, 맥 포팅 버전은 이걸 MPS(Metal Performance Shaders) 백엔드로 바꿨어요. MPS는 애플이 만든 GPU 가속 프레임워크인데, PyTorch가 공식적으로 지원해주는 백엔드예요. 즉, 파이토치 코드에서 device='cuda'라고 쓰던 걸 device='mps'로 바꾸면 애플 실리콘의 GPU 코어를 활용할 수 있다는 뜻이거든요.

문제는 CUDA에서만 쓰이는 커스텀 커널들, 예를 들면 sparse voxel 연산 같은 것들이에요. 이런 부분은 단순히 디바이스 이름만 바꾼다고 되지 않아서, 직접 Metal 셰이더나 순수 파이토치 연산으로 다시 짜야 합니다. trellis-mac 리포지토리를 보면 이런 부분들을 우회하거나 재구현한 흔적이 있어요. 통합 메모리 아키텍처(Unified Memory) 덕분에 CPU-GPU 간 데이터 복사 오버헤드가 줄어드는 건 덤이고요.

성능은 당연히 고성능 엔비디아 카드보다는 느려요. M3 Max 정도의 칩에서 이미지 한 장당 몇십 초에서 1분 남짓 걸리는 수준이라고 보면 됩니다. 하지만 "안 돌아가던 게 돌아간다"는 것만으로도 엄청난 진전이에요.

업계 흐름에서 보면

사실 이 움직임은 TRELLIS만의 이야기가 아닙니다. 지난 2년 동안 AI 생태계에서 가장 눈에 띄는 변화 중 하나가 바로 엔비디아 CUDA 독점의 균열이거든요. Llama.cpp가 LLM을 맥에서 돌리는 길을 열었고, MLX라는 애플 자체 머신러닝 프레임워크가 점점 성숙해지고 있어요. Stable Diffusion도 Core ML 포팅 버전이 나오면서 아이폰에서도 이미지 생성이 되는 세상이 됐죠.

3D 생성 쪽에서도 경쟁자가 많습니다. Stability AI의 Stable Zero123, OpenAI의 Shap-E, Luma AI의 Genie 같은 상용/오픈소스 모델들이 있는데요, TRELLIS는 그중에서도 메쉬 품질에서 평가가 좋은 편이에요. 특히 Hunyuan3D 시리즈나 Tencent의 최근 3D 모델들과 비교해도 경쟁력이 있다고 알려져 있고요. 여기에 맥 지원까지 더해지면 개인 개발자 접근성 면에서 꽤 강력한 선택지가 됩니다.

한국 개발자가 주목할 포인트

국내에서 AI 기반 3D 에셋 생성에 관심 있는 분들은 많은데, GPU 장비 문제로 실험을 포기하는 경우가 꽤 있어요. 클라우드 GPU는 시간당 비용이 부담스럽고, RTX 4090 같은 카드는 개인이 사기엔 비싸거든요. 그런 분들에게 이 프로젝트는 "일단 맥북으로 프로토타입부터 돌려보자" 는 선택지를 열어줍니다.

특히 게임 인디 개발자나 메타버스 콘텐츠 스타트업, 3D 프린팅 서비스를 기획하는 팀이라면 한 번쯤 로컬에서 돌려볼 만해요. 파이프라인 PoC를 빠르게 만들어볼 수 있거든요. 또 하나, 애플 실리콘용으로 ML 모델을 포팅하는 작업 자체가 요즘 꽤 귀한 스킬이에요. trellis-mac의 커밋 로그를 따라가면서 어떤 부분이 CUDA에 묶여 있었고 어떻게 풀어냈는지 학습하면, 앞으로 다른 모델을 맥에 포팅할 때 그대로 적용할 수 있는 노하우가 쌓입니다.

마무리

한 줄로 요약하면, 이제 엔비디아 없이도 맥북 하나로 이미지를 3D로 변환할 수 있는 시대가 열리고 있다는 이야기예요. 여러분은 어떠세요? 온디바이스 3D 생성이 실용 단계에 도달하면 어떤 서비스가 가장 먼저 바뀔 것 같나요? 게임 에셋 제작, 커머스 상품 3D 프리뷰, 아니면 또 다른 영역일까요?