https://noviorlu.github.io/tags/cuda/Recent content in CUDA on NoviorluHugo -- gohugo.iozh-CN© 2026 Noviorlu喵Sat, 03 Oct 2026 00:00:00 +0000https://noviorlu.github.io/blog/gpu-triton-intro/Sat, 03 Oct 2026 00:00:00 +0000https://noviorlu.github.io/blog/gpu-triton-intro/<p>这个系列讲怎么让 Transformer 训练在 GPU 上跑得更快。这一篇先打基础：<a href="https://noviorlu.github.io/blog/gpu-triton-intro/#hardware" >第 1 节</a>介绍 GPU 的硬件，包括数据存在哪几层、一个 SM 里有什么、CUDA 的执行层级怎么对应到硬件；<a href="https://noviorlu.github.io/blog/gpu-triton-intro/#triton" >第 2 节</a>用四个例子介绍 Triton，后面两篇的 kernel 都用它写。TPU 和 GPU 的对照放在<a href="https://noviorlu.github.io/blog/gpu-triton-intro/#tpu" >附录 A</a>。</p>