在Statsig写的文章

AI产品上线时的四个增长难题：病毒式爆发、用量推高成本、提示词让新用户卡住，以及按用量定价。

并行跑实验、换成代理指标、用CUPED降方差、做序贯检验，把十一周的实验缩短到几周。

实验多到成千上万个时，覆盖率、指标成熟度和假设质量，决定复杂度是催生洞察还是拖垮进度。

从首次触达、最后触达，到马尔可夫链、Shapley值、uplift和深度学习：各类归因模型的公式和局限。

实验给出效应大小，决策还要权衡品牌、信任和相互冲突的目标。

买家和卖家互相影响，按用户随机会污染对照组。按簇随机、轮换实验和分阶段放量各有取舍。

用先验移动点估计，容易被拿来操纵结果；用先验收紧区间，又会拖慢决策。怎样负责任地用先验。

马尔可夫链和Shapley值算出来的仍然是相关。渠道真正带来多少增量，要靠实验来量。

相关 ≈ 因果 + 选择偏差。记住这个公式，就能看穿大多数「aha moment」。

两派对同一份数据给出不同的解读，做出的决策往往一样。真正会改变决策的，是带信息的先验。

从Databricks到BigQuery，再到Spark加Iceberg：实验数据平台在规模变大时怎样控制成本。

Ronny Kohavi线上分享的回顾。自动化把数据科学家从重复劳动里解放出来，实验规模化真正的敌人是一厢情愿。

能不能「接受」原假设，要看你用的是Fisher的框架，还是Neyman-Pearson的框架。

在Facebook Marketplace做电商，上线后几乎所有指标都在跌。一个白底图实验，让争论很快平息。

随机分组让两组的差异只来自处理本身。人不擅长归因，也不擅长预测自己的想法，所以需要A/B实验。

限制实验规模化的，是信息过载和管理复杂度。四条系统设计上的做法，让多跑实验不再越来越贵。

从标准误一路推到α、β、power和MDE，用17张图讲清楚：样本越大，能发现的效应越小。

新奇效应是处理效应的一部分，不该用统计方法去修正。看处理效应的时间序列，就能发现和控制它。

数据分析做得再好，决策也可能很糟。得有人把基本概念一遍遍讲清楚，这是我开频道的原因。