后训练是把预训练压缩进模型的信息，通过额外步骤调成对具体任务更有用的形态；它的难点不在会不会用强化学习，而在持续避免模型学坏。
AI根据立正公开的文章和视频整理，不是他本人回复。重要的判断，请回到出处核对。
后训练是把压缩的信息调向任务
材料里的观点大模型先用预测下一个字符的方式，把大量信息压缩进模型；这些信息再通过中间训练和后训练，变得对具体任务更有用2。所以后训练不是给模型做最后润色，而是决定这些压缩信息往哪个方向走。有研究者提到，预训练的结构和损失函数相对稳定，后训练的花样则很多，可以改强化学习的函数、价值函数、奖励和评分标准，改了之后就是希望模型往不同方向走3。换句话说，后训练的本质是定向调整，不是单纯加分。
难在优化目标时模型会学坏
材料里的观点后训练的高风险在于，你优化一个目标，模型可能学会走捷径。一种诊断思路是看奖励有没有开始被钻空子：分数继续涨，但其他评价不再变好1。另一个现象是在一个任务上训练多了，其他任务会变差，输出更单一，看策略熵是否降得很厉害，可能就是模式塌缩1。所以后训练的难，不在会不会用强化学习，而在能不能持续避免模型学坏1。这也解释了为什么可能出现评测更好、真实使用更差的模型。
其中一期是多人未逐段确认说话人的会员视频字幕，具体措辞以原视频为准；后训练的具体算法细节，现有材料只给了诊断思路，没有展开。
出处
- 1大模型训练全过程的技术细节、难在哪里，各家真实水平，科研精神的重要，benchmark为什么没用，谷歌和英伟达的恐怖统治力，达到singularity的核心突破在于AI自主提问｜查晟访谈
讲后训练的典型坑和诊断思路，适合核对奖励钻空子、模式塌缩这些失败模式。
- 2查晟：大模型训练的真相、NVIDIA 的护城河、以及为什么大厂做不好 AI
从训练全流程说明预训练压缩信息、后训练把信息变得对任务更有用，适合建立整体位置感。
- 3田渊栋：模型的顿悟，AI的优雅，模型表征与人类心智模型的关系，优秀研究员的意义
说明预训练损失函数相对稳定、后训练可改的环节很多，适合理解后训练为何是定向调整。
你也有想问的？
卡住的时候，问问立正：它会从立正六年、四百多期视频（一半是会员视频）、两百多篇文章和《真本事》整门课里找出相关内容，整理成回答，每段都标明出处。
问类似的问题也可以接着问：
别人还问了
- 我一路是好学生，擅长表达和语言，后来转文科、读商学院博士又退学，现在做咨询类初级工作，感觉天花板有限，想趁年轻转行学点难的东西，但担心风险和家里帮不上，不知道第一步怎么走。
你现在缺的不是方向，而是一次能产生真实反馈的小实验；先别辞职，用业余时间做一件能接触真实用户、能拿到第一笔职位外付款的小事，用它来缩小不确定性。
- 做自媒体一般要多久才开始有收入？前期没收入正常吗？
从开始做到真正拿到收入，中间大约隔了三年多，前几年基本是投入期。头一年观众增长极其缓慢，每周只有几十到一百多粉丝，之后经历几次跳跃又回到缓慢增长，到第三年底到第四年初才有较大攀升。这符合复利曲线：绝大部分回报发生在后期，前期投入大、粉丝少…
- 做自媒体时，垂类内容播放量低但涨粉精准，热点内容播放量高但涨粉率低、对账号没赋能。粉丝量还不大时，该继续做垂类，还是先把流量做起来？
先想清楚要放大什么：如果目标是精准粉丝和未来变现，垂类内容更值得持续；热点内容可以当获客工具，但要接受它不直接赋能赛道。垂类一千阅读涨十个粉、热点五万播放涨粉率更低，说明热点带来的是泛流量，不是赛道受众。粉丝量不等于播放量…
- 真心想做的事可能有趣，但不一定符合社会标准的有用，怎么拿捏和取舍？
先分清这份「想做」是心真正想要的，还是脑子推出来的结论；前者值得投入，后者常是假愿力。取舍时看你能控制什么，而不是社会认不认可。真心做的事往往先难后被认可，要接受一段没有外部反馈的时间。
- AI 时代下，设计从业者该如何转型？
设计从业者的转型方向，是从“画图执行”转向对结果负责：用 AI 把想法直接做成东西，同时保留审美判断和业务理解。AI 降低了技术门槛，让不写代码的设计师也能自己把东西做出来；在 AI Native 小团队里，设计师的价值转向提供审美…
- AI 会让哪些创业机会真正成立？
AI 降低的是执行成本，不降低拥有客户、定价、信任和履约的门槛；所以它让「做出来」变容易，却没让「卖出去」变容易。AI 更容易催生的机会，往往长在你已经熟悉的场景里，而不是凭空冒出来的新赛道。创业的本质是开始拥有用户、定价权…