GPU 与 Triton 入门:从存储层级到第一个 kernel

这个系列讲怎么让 Transformer 训练在 GPU 上跑得更快。这一篇先打基础:介绍 GPU 的硬件,包括数据存在哪几层、一个 SM 里有什么、CUDA 的执行层级怎么对应到硬件;用四个例子介绍 Triton,后面两篇的 kernel 都用它写。TPU 和 GPU 的对照放在。

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论