LogSumExp和Softmax的泰勒展开

科学空间，苏剑林（Jianlin Su）的科学空间博客，专注于机器学习、自然语言处理、深度学习与数学建模研究。关注

最近看到论文《The Key to Going Linear: Analysis-Driven Transformer Linearization》里边直接对Softmax做近似展开来线性化At...

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论