《可信实验白皮书（方法指南篇）》由美团履约与外卖团队资深数据科学家撰写，基于多年 AB 实验实践经验，系统构建了实验科学方法体系，为数据驱动决策提供全面指导。

白皮书核心围绕四大类实验方法展开。随机对照实验作为基础核心，通过普通随机分组、完全随机分组等方式实现，可应对小样本、溢出效应等问题，配套 CUPED 等方差缩减技术提升功效，支持连续型、比率型等多类指标评估。随机轮转实验针对空间溢出效应和样本量不足，包括抛硬币、完全随机、配对随机轮转三种类型，适用于不同时间片和业务场景，需警惕携带效应。准实验以双重差分法为核心，解决无法随机分组的场景，通过平行趋势检验保障结果可信度，适用于配送区域优化等特殊业务。观察性研究包含合成控制法、匹配方法、Causal Impact 三类，用于无法开展控制实验的情况，可有效消除选择性偏差。

高阶实验工具方面，统合分析通过多种加权方式整合多次独立实验结果，解决单次实验功效不足问题；多重比较采用二阶段 Benjamini-Hochberg 方法修正 P 值，控制假阳性率。配套的开放式分析引擎 BETA 提供丰富实验方法库，支持标准化流程、高效运算和多重保障，通过平台开放、接口开放、线下 SDK 三种接入方式满足不同用户需求。

白皮书适用于数据科学家、产品经理、算法工程师等多岗位从业者，既覆盖基础原理与术语，又包含实操案例与代码应用，可帮助初学者快速入门，为资深研究者提供复杂场景解决方案。其核心价值在于通过科学实验方法验证策略效果、量化增长价值，助力企业在产品迭代、算法优化等领域做出精准决策，推动实验文化普及与技术升级。

免责声明：我们尊重知识产权、数据隐私，只做内容的收集、整理及分享，报告内容来源于网络,报告版权归原撰写发布机构所有，通过公开合法渠道获得，如涉及侵权，请及时联系我们删除，如对报告内容存疑，请与撰写、发布机构联系