量子位· 听雨·· 3 小时前精选AI 评分78
百度发布并开源文心 Unlimited OCR 2:3600+ 页文档连续解析,KV 缓存降约 96%
KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%
AI 导读
百度发布并开源文心 Unlimited OCR 2,可连续解析 3600+ 页《哈利·波特》全集等超长文档。技术报告显示,其峰值 KV 缓存从 47GB 降至 1.77GB,减少约 96%;16 路并发下端到端吞吐量提升至标准解码的 3.65 倍。模型引入 SR-SWA 注意力机制与无限解码机制,已在 Hugging Face 和 GitHub 开源。
推荐理由
原文给出峰值KV缓存从47GB降至1.77GB的对比数据,可据此判断长文档OCR的部署成本变化。
来源:量子位 · qbitai.com