https://noviorlu.github.io/tags/roofline/Recent content in Roofline on NoviorluHugo -- gohugo.iozh-CN© 2026 Noviorlu喵Sun, 04 Oct 2026 00:00:00 +0000https://noviorlu.github.io/blog/gpu-training-analysis/Sun, 04 Oct 2026 00:00:00 +0000https://noviorlu.github.io/blog/gpu-training-analysis/<p>我在一张 RTX 5090 上把一步 Transformer 训练拆开，分别量了时间和显存。结果和预想的不太一样：拖慢速度的不是矩阵乘，占显存最多的也不是权重。两边查到最后，都落在 attention 里的两个 seq × seq 矩阵上，一个是分数矩阵 S = QKᵀ（每个 query 对每个 key 的打分），一个是 S 按行过 softmax 之后的注意力权重 P，最后输出是 PV。</p>