立正的游戏行业经验主要来自回国加入腾讯、担任该部门首位数据科学家,做游戏评估与用户增长;他对数据分析和AB实验的核心观点是:实验要默认覆盖每个新功能,价值来自意外,数据分析要能参与决策而非只取数。
AI根据立正公开的文章和视频整理,不是他本人回复。重要的判断,请回到出处核对。
游戏行业经验:从电商跨到腾讯做数据
材料里的观点立正提到自己是从电商跨行业进入游戏的,加入腾讯时是那个部门从外部招进来的第一位数据科学家,职位给到副总监。他判断这个机会值得做,因为游戏本身很吃数据,数据能用在判断哪些游戏有潜力、以及做用户获取和增长这类有实际影响的事情上;他也把公司给的职级和薪酬看作公司是否真想清楚、是否下决心的信号1。这段材料只覆盖他入职时的判断,没有展开他在游戏公司具体做了哪些项目、待了多久。
实验要默认覆盖,价值来自意外
材料里的观点立正主张提高实验覆盖率,让每个新功能都进实验,而不是只挑自己有信心的想法去测。理由是实验的价值来自意外:好想法被验证,功劳属于想法本身;真正靠实验拿到的是发现某个改动其实有负面影响,把它砍掉,指标才能持续累积增长。他举Meta、OpenAI、Canva这类公司为例,技术上靠把功能开关和实验设计成同一个对象来做到默认都测2。这个判断成立需要足够的用户量和可靠埋点,用户太少时结论不稳定。
AB实验是产品开发文化的实体化
在立正看来,AB实验平台远不只是比较两组均值、算个置信区间,而是用整个实验去驱动产品迭代,是产品开发文化的一种实体化:工程师可以自由探索,最后用上线后真实用户的结果说话,而不是靠会议和空想达成共识。他提到这类平台由一流工程师做了多年仍觉得有很多没做完,说明难点在决策过程如何被产品化,以及背后的基础设施3。同样的机制也解释了为什么实验做得容易的公司会更扁平、更看结果4。
现有片段只覆盖他入职腾讯时的判断,没有他在游戏行业的具体项目、任职时长或游戏内AB实验的专门内容。
出处
- 1留美14年,为何在升职前夕决定回国?|游戏行业有多厉害?
核对立正进入游戏行业的背景、岗位性质和他对游戏数据价值的判断。
- 2AB实验,有哪些重要却不为人知的知识?|课代表数据大师课5
核对实验覆盖率、价值来自意外、功能开关与实验合一这些核心主张。
- 3如何通过解读Job Description,让自己的简历被认真对待?
核对AB实验平台为何复杂、如何被理解为产品开发文化的实体化。
- 4Facebook的AB Testing是什么样子的?为什么对公司文化有这么大影响?
核对实验容易做对组织文化、扁平化和结果导向的影响。
你也有想问的?
卡住的时候,问问立正:回答附有出处,可以点回原文核对。
也可以接着问:
别人还问了
- 这个课干啥的
这是一门教人真正把 AI 用进工作与项目的课,重点不是软件操作步骤,而是提需求、判断与动手做的能力;另有一门一小时小课供先试。
- 课代表在223年写的一篇文章里面有讲包括大语言模型是怎么来的呀?介绍这些背景资料的
按现有片段,无法确认“课代表”在2023年写过介绍大语言模型由来的文章;能确认的是立正在2023年有两份公开讲解,分别从生成模型原理和范式变化切入。
- 前辈想请我付费帮她做一档播客,我很愿意采访,但觉得采访完之后的剪辑和发布比较麻烦。一方面我觉得 AI 应该可以把后期做的不错,但实际上我自己的播客后期一直没有弄的很丝滑。我不太知道怎么判断这件事合适。我想的是,我可以收很低的费用,只负责采访。或者用相对高一些的费用,把采访和后期都接了。不太想接负责找外包剪辑同学以及和外包同学沟通,之前自己试过比较麻烦。
按你的约束,更稳的是低价只接采访,把后期排除在承诺之外;若想连后期一起接,就应把外包剪辑和沟通成本算进报价,而不是假设 AI 能替你消化。
- 如何做好 data agent?
做好 data agent 的关键不在模型多强,而在先把数据关系建模成图、在生成查询外加一层审计纠错,并把上线后的持续调优当成常态。
- 目前用了很多 agent,如果管理跨 agent 的 skill 更新和维护问题?
把 skill 当成需要持续运营的共享资产:统一存放、版本化、按环境适配,并给高风险改动加审批。多 agent 不是多份 skill,而是同一份 skill 被多处引用。
- 想赚钱,增加收入,普通人是不是做自媒体更好
不一定。对多数普通人,自媒体更该先当低成本试水的事业,而不是稳赚的副业;它前期大概率不赚钱,成功标准要先定清楚。