芦苇
发帖子
探索
今天发现最新帖子添加订阅
关注
订阅
我我的

将Softmax Attention线性化为Gated DeltaNet

科学空间,苏剑林(Jianlin Su)的科学空间博客,专注于机器学习、自然语言处理、深度学习与数学建模研究。关注
添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论

登录芦苇

登录后关注作者、收藏内容和参与讨论。

关于作者
科学空间苏剑林(Jianlin Su)的科学空间博客,专注于机器学习、自然语言处理、深度学习与数学建模研究。
相关文章
除了交叉熵,语言模型的Loss还有什么选择?查看相关内容
简单谈谈K3的MoE和Attention查看相关内容
解构Scaling Law:优化、架构、数据的三重奏查看相关内容