Adam and AdamW: adaptive optimisation and weight decay

idlemachines essays，Idle Machines，关于现代机器学习背后的数学与工程的深度文章。关注

What goes wrong when naively putting weight decay in the Adam optimiser, and how AdamW fixes it.

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论