H 公司發布 Holotron-12B 計算機使用代理模型
h 公司發布了 holotron-12b，這是一個基於 nvidia nemotron-nano-2 vl 的 120 億參數計算機使用代理模型。其混合 ssm 架構在 webvoyager 基準測試中的吞吐量是 holo2-8b 的兩倍，在單張 h100 gpu 上處理 100 個併發請求時可擴展至每秒 8.9k tokens。
H 公司發布了 Holotron-12B，一種針對電腦使用的 120 億參數多模態代理。該模型基於 NVIDIA 的 Nemotron-Nano-2 VL 架構構建，使用混合狀態空間模型（SSM）和注意力機制，以最小化 VRAM 使用量並避免二次計算成本。最終檢查點在專有的本地化和導航數據上處理了約 140 億個 token。
在運行在單個 H100 GPU 上的 WebVoyager 基準測試中，使用 vLLM v0.14.1，Holotron-12B 的吞吐量比之前的 Holo2-8B 模型高出 2 倍以上。Token 吞吐量線性擴展到 8,900 token/s（100 個並發工作者），而 WebVoyager 的準確性從 35.1% 提高到 80.5%。