OpenAI 개발자들, '캐비맨'식으로 AI 토큰 비용 65% 절감

개발자들은 모델 출력에서 친절한 표현과 문장을 제거하고 코드 및 기술 세부 사항은 유지하면서 급증하는 AI 비용에 대처하기 위해 '원시인' 플러그인을 배포하고 있다. 이 도구는 토큰 사용량을 65-75% 줄여 OpenAI 및 레그랑(Legrand)과 같은 대기업의 직원들이 엄격한 새로운 예산 할당량을 지키기 위해 이를 채택하도록 이끌었다. 한 고위 OpenAI 엔지니어는 이 프로젝트를 지원하기 위해 코드에 기여했으며, 이 방법에 대한 내부 검증을 시사했다. 이러한 경향은 첨단 모델의 비용이 많이 들고 장황한 성격과 기업이 필요로 하는 비용 효율적이고 결정론적인 툴링 간의 긴장을 부각시키고 있다.