TAG · 2 篇

Infra

← 全部文章 LLM 2 随想 2 训练 1 RLHF 1 推理 1

重读 Attention：从 O(n²) 到线性的六种妥协

把 Linformer、Performer、Mamba、滑动窗口放在同一张坐标系里比较，看它们各自放弃了什么样的长程依赖能力。

把首 token 延迟砍掉 60% 的那一周

从 PagedAttention 的显存碎片，到投机解码里草稿模型的接受率调参。包含两个把 P99 搞得更糟的失败尝试。