如何更科学地估计矩阵的谱范数?
科学空间
,苏剑林(Jianlin Su)的科学空间博客,专注于机器学习、自然语言处理、深度学习与数学建模研究。
关注
谱范数(Spectral Norm)是矩阵分析中的核心概念,在深度学习领域中也扮演着重要角色——从WGAN时代所需的Lipschitz约束,
到如今LLM的训练稳定性,再到方兴未艾的Muon优化器...
添加评论
点赞
收藏
点踩
分享
查看原文
评论
?
参与讨论