RLHF

RLHF 里最被低估的失效模式不是 reward hacking，而是标注者偏好的不一致性如何被模型放大成一种稳定的人格缺陷。