DeepSeek V4的tid2eid是怎么来的？

科学空间，苏剑林（Jianlin Su）的科学空间博客，专注于机器学习、自然语言处理、深度学习与数学建模研究。关注

训过MoE的同学都知道，如果把整个模型的MLP部分都换成MoE，那么靠近Embedding的前几层MoE往往很难实现负载均衡。对此，DeepSeek V3，包括我们的Kimi K2，采取的应对策...

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论