IBM, 에이전트 로직으로 토큰 사용량 30배 절감 — 프론티어 모델이 정말 필요할까?
IBM의 watsonx Code Assistant는 에이전트 로직(정적 분석/지식 그래프)을 사용해 레거시 코드 작업의 정확도를 유지하면서 토큰 사용량을 30배 줄였습니다. 이는 확장 가능한 엔터프라이즈 AI가 모델의 원시 성능보다 소프트웨어 기반 가이던스에 달려 있음을 시사합니다.
ibm detailed how watsonx code assistant for z uses agent logic—software primitives like knowledge graphs and static analysis—to navigate complex enterprise workflows involving legacy cobol and pl/1 code. by pre-indexing application structure into database schemas, the agent retrieves precise information to guide the llm, resulting in roughly 30x lower token usage compared to a baseline frontier model while maintaining superior performance. this challenges the reliance on massive context windows and expensive frontier models, signaling that scalable enterprise adoption requires software-defined steering to manage dynamic workflows and regulatory constraints effectively.