Kimi K3 架构概览与笔记

关于Kimi K3的简要架构说明,包括LatentMoE、Kimi Delta Attention、注意力残差、无位置编码(NoPE)、多模态能力,以及推理效率方面的设计选择。

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论