Subquadratic의 새로운 SubQ 모델, 트랜스포머보다 12배 많은 컨텍스트 처리 주장
subquadratic가 자사 subq llm의 제3자 벤치마크를 공개하며, 트랜스포머 모델 대비 12배의 컨텍스트 윈도우를 극히 일부의 비용으로 제공한다고 주장해 표준 아키텍처를 뒤집을 위협이 되고 있습니다.
서브쿼드릭(Subquadratic)은 앱엔(Appen)으로부터 제3자 검증을 받아, 서브큐(SubQ)가 트랜스포머(Transformer) 밀집 주의집중의 수학적 병목 현상을 해결하여, 모델이 컴퓨팅 비용의 일부에 불과한 최대 12배 더 많은 컨텍스트를 처리할 수 있다고 주장했다. 벤치마크 결과에 따르면, 서브큐는 코딩과 같은 특정 작업에서 구글 딥마인드(Google DeepMind) 및 오픈AI(OpenAI)의 선도적인 모델에 대해 경쟁력 있는 성능을 유지하면서 효율성을 크게 높였다. 확장성이 있다면, 이 아키텍처는 2017년부터 지배적인 트랜스포머를 대규모 데이터 세트(예: 전체 법률 문서 또는 코드베이스)를 분석하는 데 있어 기존의 계산 부담 없이 분석할 수 있는 실행 가능한 경로를 제공함으로써 업계의 변화를 가져올 수 있다.