如何有效的整合和利用数据？

整合数据的起点不是技术，而是对业务上下游和用户的理解。立正提到，他在 Facebook 时对业务熟悉到能预判产品变化对指标的影响，后来做实验也基本吻合，靠的就是这个心智模型。他接触新业务时会尽快做两件事：找一线执行者聊，用他们的体感校准自己的判断；把业务逻辑和系统上下游理清，找到关键点。数据本身是工具，模型对不对才决定结论对不对⁠1。所以整合数据前，先问自己：我能不能说清这个业务里，哪个环节的变化会带动哪个指标。

数据整合之后要能支撑决策，靠的是实验覆盖而不是事后分析。立正讲 A/B 实验时强调，实验的价值来自意外——有把握的想法被验证，价值属于想法本身；意外发现才是实验带来的。业界经验是初始假设大约只有两成成立，所以只拿有信心的想法去测意义不大，应该让每个新功能都进实验⁠2。做到这一点需要把功能开关和实验设计成同一个对象，加上随机分组和统计引擎。砍掉有负面影响的功能，指标才能复利增长。这套做法需要足够用户量和可靠埋点，用户太少时结论不稳定。

有效利用数据还包括知道它的边界。立正提醒，数据科学家容易陷入“数据驱动决策”的误区，忽略常识，导致决策失败。要分清一个决策里有多少可以被轻易测量，也要尊重那些不能被轻易测量的部分，给它们足够关注⁠3。他的建议是：勇于在没有数据支撑时对重要决策发表意见，并主动寻找那些重要决策，而不是只盯着能被数据回答的问题；同时有义务告诉别人，数据在这个决策里占多大比重——可能只测了百分之三十，剩下百分之七十就是不确定的。