Princeton's 8,000-agent study found skills work by process not facts
princeton and uc san diego researchers ran 8,135 tests finding 'skills' improve agents via procedural grounding, not knowledge, as retrieval fails in larger libraries.
普林斯顿大学和加州大学圣地亚哥分校的研究人员分析了超过 8,000 次测试运行，以确定为什么 AI “技能”（特定任务的紧凑指令集）能提高智能体性能。结果表明，技能作为程序手册最为有效，稳定智能体行为并在 65.7% 的情况下减少执行错误，而不是作为知识库。该研究发现了扩展中的一个关键瓶颈：当技能库从 5 个条目扩展到 100 个时，智能体检索正确指令的能力从 29.6% 下降到 3.3%。此外，在 10% 的情况下，智能体会机械地不恰当地应用技能。作者得出结论，未来的智能体需要更好的生命周期管理来创建、检索和应用技能，而不仅仅是存储更多技能。