NVIDIA Nemotron 3 Nano Omni, 긴 컨텍스트 옴니모달 지능 구현
NVIDIA가 문서, 오디오, 비디오 에이전트를 위한 오픈 옴니모달 모델 Nemotron 3 Nano Omni를 공개했습니다. mamba-transformer MoE 백본과 새로운 인코더를 결합해 100페이지 이상의 문서와 장편 영상을 처리합니다. 벤치마크에서 mm-longbench-doc, voicesense, worldsense 부문을 선도하며, 경쟁 모델 대비 최대 9.2배 높은 시스템 효율을 보여줍니다.
엔비디아는 텍스트, 이미지, 비디오, 오디오 입력을 지원하는 네모트론 라인 확장을 위한 새로운 오픈 모델인 Nemotron 3 Nano Omni를 출시했다. 이 아키텍처는 Nemotron 3 하이브리드 Mamba-Transformer Mixture-of-Experts 백본과 C-RADIOv4-H 비전 인코더 및 Parakeet-TDT-0.6B-v2 오디오 인코더를 결합했다. 복잡한 문서 분석(100페이지 이상의 파일 처리 가능), 자동 음성 인식, 긴 오디오-비디오 이해, 에이전트 컴퓨터 사용 및 일반 멀티모달 추론의 5가지 특정 엔터프라이즈 워크로드에 목표를 두고 있다.
엔비디아는 이 모델이 MMlongbench-Doc, OCRBenchV2, WorldSense 및 VoiceBench를 포함한 리더보드에서 최고의 정확도를 달성했다고 주장한다. 효율성 지표에 따르면 Nemotron 3 Nano Omni는 대안보다 멀티모달 사용 사례에서 최대 9배 높은 처리량과 2.9배 빠른 싱글 스트림 추론 속도를 제공하며, MediaPerf에서 가장 비용 효율적인 오픈 비디오 이해 모델로 평가된다. BF16, FP8 및 NVFP4 체크포인트는 Hugging Face에서 사용할 수 있다.