How do you know whether you are overfitting or not?

材料里没有直接讨论机器学习意义上的过拟合，也没有给出“训练集好、验证集差”这类判定方法。能借用的相近思路有两层：一是判断输出质量时，不靠“感觉差不多”，而靠事先写好的可执行验收标准；二是做实验时，反复偷看结果会抬高错误发现率，需要用序贯检验调整置信区间来惩罚偷看⁠1,2。这两条都指向同一个问题：你以为的“变好”，可能只是评价方式太松或看得太频繁。

Yuzheng Sun 把能否系统判断质量列为普通用户和 AI 构建者的关键差距：前者看到输出“大概还行”就接受，出问题只会换提示词重试；后者有清晰的验收标准，能定位失败属于哪一类，比如缺上下文导致幻觉、上下文窗口饱和导致信息丢失、指令含糊导致方向漂移、超出模型能力边界⁠1。把这个思路用到过拟合判断上：先在没看过的样本上定好“满足条件 X、避免错误类型 Y、覆盖关键边界情况”，再看新数据是否同样达标。若只在调过的样本上好、换一批就掉，就是过拟合的信号——这是 AI 基于该文的推演，原文并未使用“过拟合”一词。

立正在讲 AB 实验时提到，如果允许无限次偷看结果，就需要用保守的序贯检验调整置信区间、惩罚偷看，从而系统性降低错误发现率；他还说负向结果显著超出置信区间时可以提前终止实验，但正向效果不值得靠高敏感度早早探测，应等到预定时间再做上线决定⁠2。对应到调模型：如果你不断根据同一批验证结果调整、直到指标好看，这个“好”很可能是偷看出来的。可行的做法是留一份调整期间不碰的测试集，只在最后看一次。