在 TPU 上加速视频扩散的时空注意力
谷歌开发者博客介绍了 Sparse VideoGen(SVG) 算法,通过动态将注意力头路由到结构化的空间或时间稀疏掩码来解决高分辨率视频扩散模型中自注意力的二次延迟瓶颈。 为了让这种算法稀疏性在 TPU 硬件上真正提速,团队优化了 Splash Attention 内核:跳过空内存 tile、将精确坐标掩码限制在边界 tile、并把 token 内存布局重排为时间优先顺序以获得连续访问。 这些优化将稀疏掩码与硬件 tile 执行对齐,显著减少了无效矩阵运算,在 1440p 视频生成上实现了最高 1.69 倍的端到端推理加速。


