영상 생성 모델을 더 잘, 더 빨리 학습시키는 법: 데이터 필터링의 진화

이미지·영상 생성 모델의 품질은 지난 몇 년간 눈에 띄게 좋아졌지만, 정작 모델 내부 구조는 Stable Diffusion 3 이후 크게 달라지지 않았다. GPT-Image가 대중화한 오토리그레시브 디퓨전 같은 변형이 나오긴 했으나, 큰 틀에서 보면 여전히 트랜스포머 백본 위에서 플로우 매칭(flow matching)과 v-예측(v-prediction) 목적함수를 쓰는 방식이 지배적이다. 애니메이션용 창작 도구를 만드는 스타트업 Linum은 최근 성능 향상의 대부분이 모델 구조가 아니라 학습 데이터를 다듬는 작업에서 나왔다고 정리한다. 강화학습(RL)도 기여했지만, 이미지·영상 분야에서 제대로 작동하기 시작한 것은 불과 몇 달 전부터라는 것이다.

한때 생성 모델의 정설은 텍스트든 이미지든 오디오든 가능한 한 많은 데이터를 긁어모아 사전학습에 쓰는 것이었다. 그러나 심하게 압축된 JPEG 같은 저품질 데이터를 그대로 넣으면, 모델은 제한된 용량의 상당 부분을 그 조악한 데이터를 흉내 내는 데 낭비하게 된다. 반대로 데이터를 잘 걸러내면 모델은 정작 배워야 할 것을 훨씬 수월하게 학습한다. 뻔한 이야기처럼 들리지만 실제로 구현하기는 어렵다는 데 함정이 있다.

CPU로 버틴 2024년, 그리고 그 한계

초기에 이 회사는 수백만 달러어치 GPU 대신 값싼 CPU 클러스터로 수십억 장 규모의 이미지·영상을 걸러내는 길을 택했다. 이미지는 별도 전처리가 거의 필요 없지만, 원본 영상은 다르다. 영상 모델을 학습할 때는 먼저 이미지 생성으로 사전학습을 해 '동사보다 명사를 먼저' 익히게 하는 편이 수렴이 빠른데, 그 전에 영상을 컷(shot) 단위로 잘라내야 한다. 카메라를 언제 어떻게 끊을지는 감독의 연출 판단이지 모델이 임의로 학습할 대상이 아니기 때문이다. 이를 위해 머신러닝을 쓰지 않고 프레임 통계의 급변을 감지하는 PySceneDetect를 도입했지만, 디졸브·페이드·지터 컷 같은 흔한 전환에는 취약했다.

텍스트가 화면을 가득 채우는 영상도 걸러내야 했다. LLM은 끊임없이 바뀌는 모션 그래픽을 캡션으로 정확히 기술하기 어렵고, 화면의 글자를 읽는 것보다 그 글자가 언제 어떻게 변하는지를 서술하는 일이 더 까다롭다. 20억(2B) 파라미터짜리 모델의 용량을 모션 그래픽 학습에 쓰느니 실제 동작을 배우게 하는 편이 낫다는 판단이었다. 그래서 2017년에 나온 소형 CNN 텍스트 검출기 EAST로 글자 영역을 잡아 필터링했는데, 수십억 프레임을 CPU에서 돌리려고 이미지를 과도하게 축소한 탓에 작은 글씨가 대량으로 검출망을 빠져나갔다. 게다가 EAST를 CPU에서 효율적으로 돌리는 일 자체가 파이프라인 최대의 병목이 되어, 실행에만 수 주가 걸렸다.

'설명 불가능한' 클립을 걸러내는 값싼 기술들

화면에 움직임이 거의 없거나(인물 얼굴 클로즈업) 반대로 지나치게 산만한(격렬한 손떨림, 여러 선수가 동시에 뛰는 축구 경기) 영상은 LLM이 제대로 캡션을 달지 못한다. 이런 '설명 불가능한 동작' 클립을 골라내기 위해, H.264 파일 안에 이미 저장돼 있는 모션 벡터를 mv-extractor로 뽑아 두 가지 지표를 계산했다. 코덱이 파일 크기를 줄이려고 프레임 간 잔차에 DCT를 적용해 만들어 둔 이 벡터는 값싼 1차 필터로 쓸 만했지만 재현율(recall)이 평범해, 걸러내야 할 클립이 상당수 남았다. 화면을 향해 말하는 '토킹 헤드' 영상은 자연 분포상 과대 대표되어 있어, Haar 캐스케이드 얼굴 검출기로 찾아 서브샘플링했다. 2025년 초 화제가 된 VEO-3의 '거리 인터뷰' 영상이 유독 그럴듯했던 것도 이런 데이터 편향의 방증이라는 해석이다.

문제는 이렇게 손으로 짠 휴리스틱이 쌓일수록 필터가 복잡한 의사결정 트리로 뒤엉킨다는 점이다. 새 필터를 하나 넣을 때마다 기존 가지 전체에 미치는 영향을 다시 검토해야 하고, 결국 해석도 수정도 불가능한 파이프라인이 된다. 더 근본적인 교훈은 따로 있었다. 가장 저렴한 필터를 찾으려 한 접근 자체가 틀렸다는 것이다. 2024년 데이터로 몇 주를 학습해도 기타 스트로크 같은 기본 동작조차 제대로 못 배우던 모델이, 2025년 필터를 적용한 뒤에는 24시간도 안 되어 같은 동작을 익혔다. 필터는 '가장 싼 것'이 아니라 '감당 가능한 한 가장 좋은 것'을 골라야 한다.

정교한 휴리스틱을 버리고 신경망으로

두 번째 결론은 원칙에 입각한 고전 CV 기법을 버리고 가능한 곳마다 블랙박스 신경망을 쓰라는 것이다. 인간이 아무리 애써도 말로 규칙화할 수 없는 패턴이 있고, 잘 학습된 신경망은 그런 비선형 함수를 학습해 대부분의 경우 정밀도와 재현율에서 앞선다. 이 회사는 카파시가 2025년 여름 YC 강연에서 테슬라 오토파일럿을 두고 말한 '소프트웨어 1.0에서 2.0으로의 전환'과 같은 깨달음이라고 표현한다. 실제로 PySceneDetect는 커스텀 CUDA 커널로 가속한 AutoShot·TransNetV2로, CPU 위의 EAST는 수천 대의 A10G·L4 GPU에서 TensorRT로 돌린 PaddleOCR로 교체했다. 수십억 샘플을 처리하는 데 약 36시간, 비용은 1만 달러 미만이 들었고 결과는 더 빠르고 정확했다. Haar 얼굴 검출기, Lucas-Kanade 옵티컬 플로우, 단안 깊이 추정 같은 얽힌 알고리즘 뭉치도 파인튜닝한 LLM들로 대체했다. 다만 극단적으로 움직임이 적거나 많은 클립을 걸러내는 값싼 초기 필터로는 여전히 H.264 모션 벡터를 쓴다.

실무자 입장에서 이 사례가 주는 시사점은 명확하지만 한계도 분명하다. 생성 영상 모델은 결국 '언어로 정확하고 일관되게 기술할 수 있는 것'—더 정확히는 LLM이 값싸게 주석을 달 수 있는 것—에 의해 제약된다. 공간·시간상의 카메라 궤적이나 배우 연기의 미묘함처럼 자연어로 옮기기 어려운 요소는 텍스트 조건화만으로 담기 힘들다. 요즘 유행하는 레퍼런스 기반 영상 생성은 이 말로 할 수 없는 속성을 통제하려는 첫 시도이지만, 밈 수준의 재조합에는 충분해도 창작자의 의도를 정교하게 전달하기에는 부족하다는 게 이들의 진단이다. 데이터 필터링은 만능이 아니라, 새 데이터를 받을 때마다 무작위 샘플을 며칠씩 검토해 '좋음'과 '나쁨'의 하위 범주 온톨로지를 짜고 각 범주의 비중을 추적하는 지속적 작업이라는 점도 함께 기억할 만하다.