DeepSeek-V3.2とGLM-5でメモリに関する結果が異なる――その理由

Hugging Faceの研究者らは、過去のエージェントの軌跡から抽出されたガイドラインである「エージェントメモリ」が、8つの異なるLLM（大規模言語モデル）におけるパフォーマンスにどのように影響するかを分析する研究を発表した。より多くのメモリが常に役立つという仮定とは逆に、その結果は、メモリは調整を必要とする投薬量のようなものであることを示している。DeepSeek-v3.2のような強力なモデルは、完全なガイドラインセットを使用することでタスク完了率が+9.5pp向上したが、117B GPT-OSS-120Bのような弱いモデルは、コンテキストノイズを避けるために選択的な検索方式を好んだ。GLM-5のような飽和したモデルは、メモリの注入に関係なく、測定可能な向上は見られなかった。これは、性能の上限または無関係なガイダンスが原因である可能性がある。この方法は、モデルの重みではなくエージェントのコンテキストを変更するため、開発者がメモリのサイズを特定のモデルアーキテクチャに合わせて調整すれば、安価でポータブルなエージェントの改善方法を提供する。