矩阵参数的奇异值熵越高越好吗？

科学空间，苏剑林（Jianlin Su）的科学空间博客，专注于机器学习、自然语言处理、深度学习与数学建模研究。关注

在去年的技术报告《Muon is Scalable for LLM Training》中，为了对比Muon与Adam所训练出来的模型的差异，我们引入了“奇异值熵”的概念，观察到Muon训练出来的...

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论