研究大语言模型的训练、对齐与推理效率。记录一些不那么正确但足够真诚的思考。http://your_server_ip/zh-CNhttp://your_server_ip/posts/loss-looks-good-model-gets-dumber/http://your_server_ip/posts/loss-looks-good-model-gets-dumber/验证集里有 4.7% 的样本以另一种表述出现在训练集中。这篇写数据去重、评测污染的检测方法，以及为什么漂亮的指标往往是最危险的信号。Sat, 18 Apr 2026 00:00:00 GMTllmtrainingthoughtsSurelyhttp://your_server_ip/posts/attention-six-compromises/http://your_server_ip/posts/attention-six-compromises/把 Linformer、Performer、Mamba、滑动窗口放在同一张坐标系里比较，看它们各自放弃了什么样的长程依赖能力。Mon, 30 Mar 2026 00:00:00 GMTllminfraSurelyhttp://your_server_ip/posts/reward-model-funhouse-mirror/http://your_server_ip/posts/reward-model-funhouse-mirror/RLHF 里最被低估的失效模式不是 reward hacking，而是标注者偏好的不一致性如何被模型放大成一种稳定的人格缺陷。Tue, 24 Feb 2026 00:00:00 GMTrlhfthoughtsSurelyhttp://your_server_ip/posts/first-token-latency/http://your_server_ip/posts/first-token-latency/从 PagedAttention 的显存碎片，到投机解码里草稿模型的接受率调参。包含两个把 P99 搞得更糟的失败尝试。Mon, 15 Dec 2025 00:00:00 GMTinfrainferenceSurely