이미지 생성 AI, 대체 뭘 보고 '잘한다'고 할까 — DiffusionBench가 던진 질문

평가 기준이 없으면 발전도 없다

요즘 이미지 생성 AI 정말 많죠. Stable Diffusion(스테이블 디퓨전), DALL-E, Midjourney, 그리고 영상까지 만드는 Sora까지. 이 모델들의 핵심 엔진이 바로 디퓨전(Diffusion) 기술이에요.

디퓨전이 뭐냐면, 발상이 좀 거꾸로예요. 먼저 깨끗한 이미지에 노이즈(지지직거리는 잡음)를 조금씩 더해서 완전히 모래알처럼 만들어버려요. 그리고 AI한테 "이 노이즈를 한 단계씩 거꾸로 걷어내봐"라고 학습시키는 거죠. 학습이 끝나면, 진짜 순수한 노이즈 한 장을 던져줘도 AI가 그걸 조금씩 정리해서 그럴듯한 그림으로 만들어내요. 마치 안개 속에서 형체를 하나씩 또렷하게 만들어가는 느낌이에요.

그런데 여기서 진짜 어려운 질문이 생겨요. "그래서 어떤 모델이 더 잘 만드는데?" 사람 눈으로 "오 예쁘다" 하는 건 주관적이잖아요. 모델을 객관적으로, 그리고 여러 측면에서 종합적으로 평가하는 표준 잣대가 의외로 부실했어요. 이걸 채우려는 게 바로 DiffusionBench(디퓨전벤치)예요.

DiT, 그리고 '종합 평가'라는 키워드

제목에 있는 Diffusion Transformers(DiT, 디퓨전 트랜스포머)를 먼저 짚고 갈게요. 초창기 디퓨전 모델은 U-Net이라는 구조를 썼는데, 최근 흐름은 ChatGPT를 떠받치는 그 트랜스포머(Transformer) 구조를 디퓨전에 결합한 DiT로 넘어왔어요. Stable Diffusion 3, Sora 같은 최신 모델들이 다 이 계열이에요. 트랜스포머가 대규모로 키울수록(스케일업) 성능이 잘 오르는 성질이 있어서 요즘 대세가 된 거죠.

DiffusionBench가 강조하는 단어는 'Holistic(홀리스틱)', 즉 '전체론적·종합적'이에요. 기존 평가는 보통 FID(이미지가 진짜 사진 분포와 얼마나 가까운지 재는 점수) 같은 단일 숫자 하나에 의존했어요. 그런데 이 점수가 낮다고 무조건 좋은 모델일까요? 그렇지 않거든요. FID가 좋아도 텍스트 프롬프트(요청 문구)를 제대로 못 따라가거나, 손가락을 여섯 개씩 그리거나, 특정 화풍에 편향될 수 있어요.

그래서 DiffusionBench는 이미지 품질, 프롬프트 충실도(시킨 대로 그렸는지), 구성 능력, 다양성, 효율성처럼 여러 축을 한꺼번에 들여다보는 종합 평가 틀을 제시해요. 모델의 강점과 약점을 입체적으로 드러내겠다는 거죠.

업계 맥락에서 보면

AI 분야에서 '좋은 벤치마크'는 그 자체로 발전의 방향키 역할을 해요. 언어 모델 쪽에 MMLU, HELM 같은 종합 평가가 자리 잡으면서 비교가 쉬워지고 경쟁이 가속됐던 것처럼요. 이미지 생성 쪽에도 GenEval, T2I-CompBench 같은 시도들이 있었는데, DiffusionBench는 특히 'DiT 시대'에 맞춰 평가를 정비한다는 점에서 의미가 있어요.

벤치마크가 표준이 되면 연구자들이 그 점수를 올리려고 노력하게 되고, 자연스럽게 '시킨 대로 잘 그리는' 방향으로 모델이 진화해요. 평가 기준이 곧 산업의 목표가 되는 셈이죠.

한국 개발자에게

생성 AI로 서비스를 만드는 팀이라면 이런 종합 벤치마크의 평가 '축'들을 그대로 자사 모델 검증 체크리스트로 가져와도 좋아요. "우리 모델, 프롬프트는 잘 따라가나? 다양성은 충분한가? 추론 속도는?"처럼요. 모델을 고를 때도 마케팅 샘플 이미지가 아니라 다축 지표로 비교하는 습관을 들이면 의사결정이 훨씬 단단해집니다.

핵심 한 줄, "무엇을 측정하느냐가 무엇이 발전하느냐를 정한다." 여러분이라면 이미지 생성 모델을 평가할 때 어떤 항목을 가장 중요하게 보겠어요? 화질일까요, 시킨 대로 그리는 능력일까요?