독일의 이미지 생성 모델 개발사 블랙 포레스트 랩스(Black Forest Labs)가 새로운 멀티모달 파운데이션 모델 'FLUX 3'를 얼리 액세스 형태로 공개했다. 이전 세대의 FLUX가 이미지 생성에 집중했던 것과 달리, FLUX 3는 이미지와 영상, 오디오를 하나의 통합된 아키텍처 안에서 함께 학습한다는 점이 가장 큰 차이다. 개별 데이터 형식을 따로 다루는 것이 아니라 세계 자체에 대한 하나의 표현(representation)을 학습하도록 설계했다는 것이 개발사의 설명이다.
왜 여러 모달리티를 함께 학습하나
이 접근의 배경에는 각 데이터 형식이 동일한 현실을 서로 다른 방식으로 투영한 조각일 뿐이라는 관점이 있다. 이미지는 특정 시점의 공간 구조와 관계를 담고, 영상은 시간 축을 복원해 물리 법칙과 움직임의 역학을 드러낸다. 오디오는 시각만으로는 포착할 수 없는 기계적 현상과 음향 사이의 인과 관계를 보여주고, 언어는 이 모든 지각을 목표나 추상, 지시와 연결한다. 어느 하나만 학습하면 그 투영에 대한 모델만 얻지만, 이들을 동시에 학습하면 서로가 서로에게 제약 조건이 된다. 소리는 충격과 맞아야 하고, 움직임은 질량을 따라야 하며, 미래는 과거로부터 이어져야 한다. 이렇게 되면 각 모달리티는 별개의 대상이 아니라 하나의 현실을 가리키는 증거가 된다.
FLUX 3는 개발사가 'Self-Flow'라고 부르는 방식 위에 세워졌다. 이는 동일한 아키텍처 안에서 멀티모달 생성과 이해를 효율적으로 정렬하는 접근으로, 회사는 이를 기반으로 연산량과 데이터 규모를 크게 키워 영상·이미지·오디오를 동시에 학습시켰다. 개발사가 공개한 비교에 따르면 Self-Flow는 기존 플로우 매칭(Flow Matching) 대비 모달리티별 생성 오차가 낮고, 미세조정을 거친 조작(manipulation) 과제의 성공률도 높은 것으로 나타났다.
오디오까지 함께 생성하는 영상
기능 측면에서 눈에 띄는 부분은 최대 20초 길이의 영상을 오디오와 함께 한 번에 생성한다는 점이다. 순수 텍스트 프롬프트만으로도, 혹은 이미지나 영상 같은 입력 레퍼런스를 주는 방식으로도 이미지와 '영상+오디오'를 섞어 만들 수 있으며, 모든 출력에는 네이티브 오디오가 함께 생성된다. 개발사는 초기 평가를 위해 720p, 10초 분량의 텍스트-투-비디오 클립을 사용했다고 밝혔다.
다만 성능 수치는 어디까지나 예비적이라는 점을 분명히 해두어야 한다. 회사 스스로 모델과 주변 도구가 아직 개발 중이라고 밝혔고, 얼리 액세스 기간 동안 추가 개선을 예상한다고 했다. 공개된 선호도 비교에서 FLUX 3는 Grok Imagine Video 대비 최대 69%, Kling v3 Pro 대비 60%, Seedance 2.0과 Gemini Omni Flash 대비 각각 52%의 비교에서 선호됐고, Runway Gen-4.5(77%)와 Luma Ray 3.2(93%)를 상대로는 더 큰 격차를 보였다. 이런 수치는 자체 평가라는 점, 그리고 비교 대상과 조건이 개발사 기준으로 설정됐다는 점을 감안해서 읽을 필요가 있다.
강점으로는 사람의 얼굴 표정 포착, 소리와 물리적 사건의 연결, 다국어 처리가 꼽혔다. 또한 시각 레퍼런스를 활용하면 여러 장면에 걸쳐 캐릭터 일관성을 유지하면서 수 분 길이의 시퀀스를 만들 수 있다고 한다. 이미지 생성에서도 중간 학습 단계 평가에서 이전 FLUX 대비 복잡한 프롬프트 처리와 텍스트 렌더링이 크게 개선됐으며, 여러 언어의 텍스트를 높은 정확도로 표현한다고 밝혔다. 이미지 부문의 얼리 액세스는 이후 몇 주 안에 열릴 예정이다.
콘텐츠 생성과 로봇을 잇는 하나의 토대
FLUX 3에서 특히 주목할 대목은 '세계 이해'를 행동 예측으로 확장하려는 시도다. 개발사는 두 갈래 경로를 제시했다. 하나는 Self-Flow 초기 작업을 확장해 FLUX 3에 행동 예측을 직접 통합하는 것이고, 다른 하나는 사전학습된 영상 백본을 동역학을 이해하는 토대로 삼아 소량의 과제별 데이터만으로 전문 행동 모델을 미세조정하는 것이다. 후자의 사례로 로봇 학습 업체 mimic robotics가 초기 파트너로 참여해 'FLUX-mimic'이라는 영상-행동 모델을 함께 개발했고, 이는 아우디(Audi)의 실제 생산 과제에서 테스트되고 있다고 소개됐다. 콘텐츠 생성과 피지컬 AI가 같은 토대 위에서 돌아간다는 회사의 가설을 뒷받침하려는 흐름이다.
한국의 실무자 입장에서 이 발표는 두 가지 시사점을 준다. 첫째, 영상 생성이 '무음 클립 + 후반 사운드 작업'이라는 기존 파이프라인에서 벗어나 오디오까지 한 번에 만들어내는 방향으로 이동하고 있다는 점이다. 이는 광고, 프로토타이핑, 사내 교육 콘텐츠 제작 흐름을 바꿀 수 있다. 둘째, 콘텐츠 모델과 로봇 제어 모델의 경계가 흐려지고 있다는 점이다. 다만 현재 공개된 정보는 얼리 액세스 단계의 자체 평가에 머물러 있고, 구체적인 아키텍처나 학습 데이터, 가격, 제약 조건에 대한 기술적 세부는 추후 공개를 예고한 상태다. 실제 도입을 검토한다면 20초라는 길이 제한과 예비 수치라는 한계를 전제로, 정식 릴리스와 독립적인 검증 결과를 기다려 판단하는 편이 안전하다.