Subquadraticの新モデルSubQ、Transformerの12倍のコンテキスト処理を主張
Subquadraticは自社のSubQ LLMのサードパーティベンチマークを公開し、Transformerモデルの12倍のコンテキストウィンドウをコストの数分の一で提供すると主張。標準アーキテクチャを覆す可能性を秘めている。
Subquadraticは、SubQがTransformerの密なAttentionの数学的ボトルネックを解決し、モデルが計算コストのごく一部で最大12倍多くのコンテキストを処理できるようにすると主張する、Appenによる第三者検証をリリースした。ベンチマークは、SubQがコーディングなどの特定のタスクでGoogle DeepMindやOpenAIの主要モデルと競争力のあるパフォーマンスを維持しながら、効率を大幅に向上させていることを示している。このアーキテクチャがスケーラブルであれば、2017年から支配的であったTransformerを、巨大なデータセット（例えば、法律文書全体やコードベース）分析するための実行可能なパスを提供することで、業界をシフトさせる可能性がある。