立正的说法是:腾讯的实验产品看上去和 Facebook 一样,底层技术洞察不同,导致实验文化很难推行下来。
AI根据立正公开的文章和视频整理,不是他本人回复。重要的判断,请回到出处核对。
差距在底层工具,不在有没有实验平台
材料里的观点立正讲过他在腾讯想推进实验非常难:腾讯是大公司,也有实验产品,但缺了当年 Facebook 那套关键的技术洞察,所以产品“看上去一样,底层很不一样”,实验文化就推不动1。他在另一期里把 Facebook 实验容易做的原因拆成三块——工程、数据基础设施、商业模式——并说正是这种容易,才连带影响了扁平、透明、看结果说话的文化2。所以“做得不够好”更可能指实验的默认程度和覆盖范围,而不是完全没有 A/B 测试。
默认都测,才拿得到意外带来的价值
按立正的说法,实验的价值来自意外:有信心的想法被验证,价值属于想法本身,只有反直觉的结果才是实验贡献的3。业界经验是多数业务决策带不来正效果,不做实验的公司既不知道失败率这么高,也不知道哪些成了、哪些没成4。因此只挑有把握的想法去测意义有限,应该让每个新功能都进实验,把功能开关和实验做成同一个对象,靠砍掉有负面影响的功能让指标复利增长3。这套做法需要足够用户量和可靠埋点,用户太少时结论不稳。
关于腾讯的判断来自立正本人讲述,材料里没有腾讯内部实验覆盖率、指标设计等可核对的细节;那期会员视频的完整论证也需回原视频确认。
出处
- 1从技术到销售,转型带来的阵痛、挑战、思考
立正直接讲腾讯实验产品与 Facebook 的底层差异,以及实验文化为何难推行。
- 2Facebook的AB Testing是什么样子的?为什么对公司文化有这么大影响?
解释 Facebook 实验为何容易做,以及它如何影响公司文化,可用来对照差距在哪。
- 3AB实验,有哪些重要却不为人知的知识?|课代表数据大师课5
说明实验价值来自意外、为何要默认都测,是判断“做得好不好”的标准来源。
- 4港中文深圳讲座:AB实验在互联网企业的应用
给出多数决策无效、不做实验就不知道成败的经验数据,支撑覆盖率论点。
你也有想问的?
卡住的时候,问问立正:回答只从立正讲过、写过的东西里来,每一段都能点回原文。
问类似的问题也可以接着问:
别人还问了
- 我即将换新工作,我希望在去之前能以一个新面貌去面对。因为我在当前工作环境中,心态上已经摆烂很久了,我会怕以当前状态直接进入新工作会不适应。为了自我成长,我该从哪些维度去调整自己的心态,以及如何对当前工作经历进行review。
换工作前的心态调整,重点不是逼自己“焕然一新”,而是把注意力从抱怨环境转向改造、适应或选择环境,并用一次真实的输出重新看清自己。
- 在ai时代,大学生还能学计算机专业吗
能学,但值得学的东西变了:不是背语法和框架,而是把模糊需求变成可交付结果、并在撤掉 AI 后还能自己判断和迭代的能力。
- 如何减少情绪对我的影响
减少情绪影响的关键不是压住它,而是先看清它是否在替你做判断:后悔、焦虑这类情绪一旦接管当下判断,就会让你更难行动。
- 怎样形成系统认知
系统认知不是知道更多事实,而是先在脑中建一个能解释现实的抽象框架,再用现实反馈不断修正它。
- 立正说AI这个东西和8小时工作制有严重冲突,因为增效无法带来创业一样的超额回报,但是他又想做企业AI培训,这甚至是个游戏终局,难道这不矛盾么?
不矛盾:全职雇佣制难以把AI提效变成个人回报,这是制度问题;做企业AI培训恰恰是绕开这个制度、按结果收费的生意。
- FDE面临的问题
FDE 的核心难题是:它靠人肉定制起步,却必须把重复问题沉淀回产品,否则公司会退化成咨询公司;同时它对市场环境高度敏感,北美比国内更容易跑通。