https://noviorlu.github.io/tags/%E4%BC%98%E5%8C%96/Recent content in 优化 on NoviorluHugo -- gohugo.iozh-CN© 2026 Noviorlu喵Sun, 18 Oct 2026 00:00:00 +0000https://noviorlu.github.io/blog/gpu-single-gpu-optimization/Sun, 18 Oct 2026 00:00:00 +0000https://noviorlu.github.io/blog/gpu-single-gpu-optimization/<p><a href="https://noviorlu.github.io/blog/gpu-triton-intro/" >上一篇</a>介绍了 GPU 的硬件和 Triton 的写法。这一篇把单卡上常用的优化方法放在一起：每种方法省的是什么，对应哪一层硬件，前后几篇里哪里用到了它。七种方法按从小到大的粒度排：先看一个 warp 内部（<a href="https://noviorlu.github.io/blog/gpu-single-gpu-optimization/#divergence" >第 1 节</a>），再看数据的位宽（<a href="https://noviorlu.github.io/blog/gpu-single-gpu-optimization/#precision" >第 2 节</a>）、kernel 之间（<a href="https://noviorlu.github.io/blog/gpu-single-gpu-optimization/#fusion" >第 3、4 节</a>），最后是访存的方式（<a href="https://noviorlu.github.io/blog/gpu-single-gpu-optimization/#coalescing" >第 5、6、7 节</a>）。<a href="https://noviorlu.github.io/blog/gpu-training-analysis/" >下一篇</a>在 RTX 5090 上拆解一步训练，用的就是这里的几种方法。</p>