Flux 3, 네이티브 오디오 탑재 — 드디어 비디오 전쟁에서 Kling을 제칠 수 있을까?
black forest labs가 최대 20초 분량의 네이티브 오디오가 포함된 비디오를 생성하는 멀티모달 모델 flux 3를 출시했으며, 내부 테스트에서 luma와 runway를 능가했습니다. 이는 로보틱스와 시네마틱 생성을 동시에 처리하는 통합 월드 모델을 향한 경쟁을 가속화하고 있습니다.
블랙 포레스트 랩스(Black Forest Labs)는 이미지, 비디오, 오디오를 동시에 학습하여 20초 길이의 클립에 기본 사운드를 생성하는 멀티모달 기반 모델인 플럭스 3(Flux 3)를 출시했습니다. 내부 평가에서는 10초 길이의 720p 클립을 사용하여 이 모델이 루마 레이 3.2(Luma Ray 3.2)를 크게 앞서는 것으로 나타났습니다(93%의 비교에서 승리). 또한 런웨이 gen-4.5(Runway Gen-4.5, 77%에서 승리) 및 클링 V3 프로(Kling V3 Pro, 60%)보다 성능이 뛰어났습니다. 콘텐츠 생성 외에도 BFL은 현재 아우디에서 생산 테스트 중인 액션 모델 확장인 플럭스-미믹(Flux-Mimic)을 도입하여 비디오 이해를 기반으로 로봇 움직임을 예측했습니다. 이 아키텍처는 전용 인코더 및 디코더를 활용하여 현실에 대한 공유 표현을 생성하여 단일 시스템에서 인식, 예측 및 조치를 통합하여 딥마인드(DeepMind) 및 기타 최고의 연구소에서의 '월드 모델' 노력과 경쟁할 수 있는 입지를 확보했습니다.