GPU Training Optimization on Noviorlu

FlashAttention 1–4: How IO-Awareness Reshaped the Attention Kernel

Mon, 05 Oct 2026 00:00:00 +0000

Prerequisite: GPU 与 Triton 入门 (in Chinese) covers the GPU memory hierarchy and Triton basics; 谁偷走了 5090 的算力和显存 (in Chinese) covers FLOPs, arithmetic intensity, the roofline model and peak memory, and measures on an RTX 5090 why the $N\times N$ score matrix dominates both the runtime and the activation memory of standard attention — the two problems this post starts from.

谁偷走了 5090 的算力和显存：一步 Transformer 训练的 roofline 侦查

Sun, 04 Oct 2026 00:00:00 +0000

我在一张 RTX 5090 上把一步 Transformer 训练拆开，分别量了时间和显存。结果和预想的不太一样：拖慢速度的不是矩阵乘，占显存最多的也不是权重。两边查到最后，都落在 attention 里的两个 seq × seq 矩阵上，一个是分数矩阵 S = QKᵀ（每个 query 对每个 key 的打分），一个是 S 按行过 softmax 之后的注意力权重 P，最后输出是 PV。

GPU 与 Triton 入门：从存储层级到第一个 kernel

Sat, 03 Oct 2026 00:00:00 +0000

这个系列讲怎么让 Transformer 训练在 GPU 上跑得更快。这一篇先打基础：第 1 节介绍 GPU 的硬件，包括数据存在哪几层、一个 SM 里有什么、CUDA 的执行层级怎么对应到硬件；第 2 节用四个例子介绍 Triton，后面两篇的 kernel 都用它写。TPU 和 GPU 的对照放在附录 A。