芦苇
发帖子
探索
今天发现最新帖子添加订阅
热门板块
🤖AI💡科技💻开发🧭产品🛠️工具
订阅
关注
下载芦苇 App ↗
我我的
进入阅读器模式

Kimi K3 架构概览与笔记

Sebastian Raschka, PhD,Sebastian Raschka 的个人主页,AI 研究员与教育者,《Build a Large Language Model (From Scratch)》作者。关注

关于Kimi K3的简要架构说明,包括LatentMoE、Kimi Delta Attention、Attention Residuals、NoPE、多模态以及推理效率方面的选择。

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论

登录芦苇

登录后关注作者、收藏内容和参与讨论。

关于作者
Sebastian Raschka, PhDSebastian Raschka 的个人主页,AI 研究员与教育者,《Build a Large Language Model (From Scratch)》作者。
相关文章
Kimi K3 架构概览与笔记查看相关内容
第116期:效率竞赛开启——智能成本下降,稀缺转向数据、信任与注意力查看相关内容
图1: 我想抄的 Find My App 的UI 图2: Fable 5.1 第一次做的 图3: Fable 5.1 第二次做的 图4: 第三轮我直接怒了,他就直接说做不了,让我要么就这样要么回滚查看相关内容