輝達發布 Nemotron 3 Nano Omni，支援長語境全模態智能
輝達發布了 nemotron 3 nano omni，這是一種用於文檔、音頻和視頻智能體的開源全模態模型。它結合了 mamba-transformer moe 骨幹網絡和新編碼器，可處理 100 多頁的文檔和長視頻。基準測試顯示，它在 mm-longbench-doc、voicesense 和 worldsense 上處於領先地位，同時系統效率比替代方案高出高達 9.2 倍。
NVIDIA 發布了 Nemotron 3 Nano Omni，一個新的開放模型，擴展了 Nemotron 系列，以支援文字、圖像、視頻和音頻輸入。該架構將 Nemotron 3 混合 Mamba-Transformer Mixture-of-Experts 主幹與 C-RADIOv4-H 視覺編碼器和 Parakeet-TDT-0.6B-v2 音頻編碼器配對。它針對五種特定的企業工作負載：複雜文檔分析（能夠處理 100+ 頁文件）、自動語音識別、長音視頻理解、代理電腦使用和一般多模態推理。
NVIDIA 聲稱該模型在 MMlongbench-Doc、OCRBenchV2、WorldSense 和 VoiceBench 等排行榜上取得了最高的準確性。效率指標表明，Nemotron 3 Nano Omni 在多模態使用案例中提供了高達 9 倍的吞吐量和 2.9 倍的單流推理速度，與替代方案相比，同時在 MediaPerf 上排名為最具成本效益的開放視頻理解模型。 BF16、FP8 和 NVFP4 檢查點可在 Hugging Face 上使用。