MoE环游记：9、门控归一化之争

科学空间，苏剑林（Jianlin Su）的科学空间博客，专注于机器学习、自然语言处理、深度学习与数学建模研究。关注

追溯一下MoE历史，我们都能发现，早些年MoE的Router在作为Gate去乘到Expert上时，基本都是用Softmax激活，直到现在它仍是MoE的标准形式之一。不过，为了配合Loss-Fre...

添加评论

点踩

参与讨论