LATENT
首页
文章
归档
关于
搜索
⌘K
TAG · 1 篇
推理
← 全部文章
LLM 2
随想 2
Infra 2
训练 1
RLHF 1
001
把首 token 延迟砍掉 60% 的那一周
12 / 15
2 MIN
从 PagedAttention 的显存碎片,到投机解码里草稿模型的接受率调参。包含两个把 P99 搞得更糟的失败尝试。
Infra
推理
导航
首页
文章
归档
关于
文章
为什么你的 loss 掉得漂亮,模型却越来越笨
重读 Attention:从 O(n²) 到线性的六种妥协
奖励模型是一面哈哈镜
把首 token 延迟砍掉 60% 的那一周
命令
切换亮/暗主题
T
订阅 RSS
↑↓ 选择
↵ 打开
ESC 关闭
微信
扫码添加 · 点击任意处关闭