디퓨전 트랜스포머, 이제 제대로 평가하자: DiffusionBench

이미지·영상 생성 모델의 표준이 된 디퓨전 트랜스포머(DiT). 하지만 'FID 점수 몇 점'만으로 모델의 진짜 실력을 판단해온 게 현실입니다. DiffusionBench는 이런 단편적 평가를 넘어, 생성형 디퓨전 트랜스포머를 종합적(holistic)으로 측정하려는 오픈소스 벤치마크입니다. 핵심은 단일 지표가 아니라 이미지 품질, 프롬프트 충실도, 다양성, 학습·추론 효율성 등 여러 축을 함께 보는 것. 같은 조건에서 여러 아키텍처와 학습 방식을 공정하게 비교할 수 있어, 논문마다 제각각이던 평가 기준을 통일하는 데 의미가 있습니다. 한국의 생성 AI 엔지니어와 연구자에게 시사점은 분명합니다. 모델을 고르거나 자체 학습 결과를 검증할 때, 체리피킹된 샘플이나 단일 점수에 속지 않고 다차원으로 따져봐야 한다는 것. 새 모델을 도입하기 전 재현 가능한 비교 기준을 세우려는 팀이라면 한 번쯤 살펴볼 만합니다.