OpenAI 開發人員採用「穴居人」模式,將 AI Token 成本削減 65%
開發人員正在採用一種「穴居人」插件,它能去除大語言模型輸出中的對話填充詞,節省 65% 的 token 並大幅降低 api 成本。
開發人員正在部署一款「原始人」插件,以應對AI成本的激增,該插件通過刪除模型輸出的禮貌用語和修辭,同時保留程式碼和技術細節,來實現成本削減。該工具減少了65-75%的 token 使用量,促使OpenAI和Legrand等企業巨頭的員工採用它,以在嚴格的新預算配額內運營。一位OpenAI的高級工程師甚至為該專案貢獻了程式碼,表明該方法得到了內部的認可。這個趨勢凸顯了前沿模型的昂貴、冗長的特性與企業對成本高效、確定性工具的需求之間日益增長的緊張關係。