Baidu의 새로운 OCR 모델, 최대 50페이지 문서에서 메모리 비용 일정화
Baidu 연구진이 상수 메모리 사용으로 최대 50페이지 분량의 문서를 한 번의 패스로 처리하는 모델 'Unlimited OCR'을 공개했습니다. 이 혁신은 기존 OCR 시스템이 긴 파일을 페이지별로 처리하게 만드는 메모리 병목 현상을 제거합니다.
baidu introduced unlimited ocr, a solution to the inference memory bottleneck where key-value caches grow linearly with text length. by implementing reference sliding window attention (r-swa), the model attends to all visual tokens but only the last 128 generated tokens, keeping memory use flat. based on deepseek ocr, it uses a 3-billion parameter mixture-of-experts decoder and a frozen deepencoder that compresses 1024x1024 images into 256 tokens. training on 2 million samples showed that this approach achieves 93% on the omnidocbench v1.5 benchmark, proving that constant memory inference does not require sacrificing multi-page recognition quality.