单卡 GPU 优化方法：从 divergence 到 tiling

上一篇介绍了 GPU 的硬件和 Triton 的写法。这一篇把单卡上常用的优化方法放在一起：每种方法省的是什么，对应哪一层硬件，前后几篇里哪里用到了它。七种方法按从小到大的粒度排：先看一个 warp 内部（），再看数据的位宽（）、kernel 之间（），最后是访存的方式（）。下一篇在 RTX 5090 上拆解一步训练，用的就是这里的几种方法。