交互页面
Transformer 算力与显存计算器
训练一个 Transformer LM 的四个关键数——参数量、训练算力、显存、训练时间——每个一条公式、一张图，选个模型、拖拖滑块就能看它们怎么变。CS336 笔记 §5.4 的配套页面，另有保留全部参数的完整版。
图形学 · 渲染 · AI 系统
你好，我是 Noviorlu。
多伦多大学计算机工程。从路径追踪、体积渲染一路写到可微渲染，现在站在图形学与 AI 的交叉点上——读推理框架的源码、给 Transformer 算账，也顺手做一些帮自己看懂复杂系统的工具。
Projects
精选项目
Writing
最新文章
GPU training optimization
FlashAttention 1–4: How IO-Awareness Reshaped the Attention Kernel
A technical walkthrough of FlashAttention’s four generations — from IO-aware tiling on A100, through better work …
GPU training optimization
谁偷走了 5090 的算力和显存：一步 Transformer 训练的 roofline 侦查
在 RTX 5090 上实测一步 Transformer 训练的时间和显存，再把 RMSNorm 和 attention 逐个 op 拆开，看每一步算了多少、搬了多少、为反向存了多少。最后都落到 attention 的两个 seq × …
GPU training optimization
GPU 与 Triton 入门：从存储层级到第一个 kernel
GPU 的存储层级、SM 结构、occupancy 和 CUDA 执行层级；再用 GELU、softmax、row sum、matmul 四个例子入门 Triton，附录对照 TPU。GPU training optimization 系列 …
AI笔记
用 OpenClaw + Claude 从零搭建个人博客的全过程
记录如何使用 OpenClaw AI Agent 搭配 Claude Opus，通过自然语言对话完成 Hugo 博客的搭建、主题定制、部署上线的完整过程。一次人机协作的实验。
