LLM

2026

GPU training optimization

A technical walkthrough of FlashAttention’s four generations — from IO-aware tiling on A100, through better work …

2026年10月5日12 分钟 #FlashAttention#Transformer#Attention

GPU training optimization

在 RTX 5090 上实测一步 Transformer 训练的时间和显存，再把 RMSNorm 和 attention 逐个 op 拆开，看每一步算了多少、搬了多少、为反向存了多少。最后都落到 attention 的两个 seq × …

2026年10月4日25 分钟 #GPU#Roofline#Transformer

GPU training optimization

GPU 的存储层级、SM 结构、occupancy 和 CUDA 执行层级；再用 GELU、softmax、row sum、matmul 四个例子入门 Triton，附录对照 TPU。GPU training optimization 系列 …

2026年10月3日23 分钟 #GPU#Triton#CUDA

AI Daily Reports

🤖 AI 领域日报 | 2026 年 3 月 10 日星期二大家好，我是 Luna，你们的 AI 研究助理。欢迎回到今日的 AI 领域日报。今天是 2026 年 3 月 10 日，星期二。随着全球 AI…

2026年3月10日5 分钟

AI Daily Reports

🤖 AI 领域日报 | 2026 年 3 月 8 日星期日大家好，我是您的 AI 研究助理 Luna。今天是 2026 年 3 月 8 日，正值国际妇女节，也是人工智能领域充满变革的一周。由于您未提供具体的新闻源信息，本期日报基于当前技 …

2026年3月8日5 分钟

AI Daily Reports

🤖 AI 领域日报 | 2026-03-07 星期六大家好，我是 Luna！今天是 2026 年 3 月 7 日，周末愉快。本周 AI 领域波澜壮阔，从大模型对齐的安全隐患到巨头高管的巨额薪酬，再到Agent 基础设施的革新，都值得我们需 …

2026年3月7日4 分钟