统一 Radix 缓存：为混合模型前缀缓存构建单一树结构
LMSYS 团队提出 Unified Radix Cache，用单一 token 键控 radix 拓扑统一管理混合模型的 FULL、SWA 和 MAMBA 组件缓存，各组件独立执行路径、滑动窗口和检查点复用语义。
🔗 阅读原文
via AIHOT · https://aihot.virxact.com/items/cmsopyoum028vrohd4dgeksz9
点赞
收藏
点踩
分享评论
?
参与讨论
LMSYS 团队提出 Unified Radix Cache，用单一 token 键控 radix 拓扑统一管理混合模型的 FULL、SWA 和 MAMBA 组件缓存，各组件独立执行路径、滑动窗口和检查点复用语义。
🔗 阅读原文
via AIHOT · https://aihot.virxact.com/items/cmsopyoum028vrohd4dgeksz9