Subquadratic 声称其 SubQ 模型上下文处理能力是 Transformer 的 12 倍
subquadratic 發布了第三方基準測試，聲稱其 subq 大語言模型擁有比 transformer 模型高出 12 倍的上下文窗口，且成本更低，有望顛覆現有標準架構。
Subquadratic 发布了来自 Appen 的第三方验证，支持其声称 SubQ 解决了 Transformer 密集注意力（transformer dense attention）的数学瓶颈，使模型能够处理多达 12 倍的上下文，同时计算成本仅为原来的几分之一。基准测试结果表明，SubQ 在特定任务（如编码）上与 Google DeepMind 和 OpenAI 的领先模型保持竞争性能，同时显著提高了效率。如果可扩展，这个架构可能会使整个行业摆脱自 2017 年以来一直占据主导地位的 Transformer，通过提供一种可行的路径来分析庞大的数据集，如整个法律文件或代码库，而无需通常的计算拖累。