第91课：A/B测试与模型上线策略

1. 学习目标

完成本课学习后，你将能够：

理解A/B测试的核心思想：掌握A/B测试（也称为受控实验）在机器学习模型部署中的关键作用和原理。
设计一个基本的A/B测试实验：能够规划实验组与对照组，选择核心评估指标，并确定实验周期与样本量。
分析A/B测试结果并做出决策：能够使用统计方法（如假设检验）判断实验结果是否具有统计显著性，并据此决定模型是否上线。
掌握常见的模型上线与分流策略：了解灰度发布、金丝雀发布、蓝绿部署等策略在模型服务中的应用。

2. 核心概念

什么是A/B测试？

想象一下，你训练了一个新的推荐算法（模型B），它比现有的算法（模型A）在离线评估指标上表现更好。但离线好，线上就一定好吗？用户会喜欢吗？业务指标（如点击率、转化率）会提升吗？

A/B测试就是解决这个问题的标准方法。它是一种受控的在线实验，将用户流量随机分成两组：

对照组（A组）：继续使用旧模型（或规则）。
实验组（B组）：使用新模型。

在相同的环境和时间段内，对比两组用户的关键业务指标。通过统计分析，判断新模型带来的提升是真实的，还是随机波动。

为什么必须进行A/B测试？

验证真实效果：离线指标（如AUC、准确率）无法完全代表线上用户体验和商业价值。
隔离变量：确保观测到的指标变化是由模型变更引起的，而不是其他因素（如节假日、市场活动）。
控制风险：如果新模型有潜在负面影响（如Bug、体验变差），它只会影响一小部分用户。

关键要素

随机分流：用户必须被随机分配到各组，避免选择偏差。
核心指标：选择一个（或少数几个）最能反映实验目标的主要评估指标，如点击率、平均订单价值。同时监控护栏指标（如系统错误率、页面加载时间），防止新模型带来严重副作用。
统计显著性：通常使用p值来判断结果。一般认为p值 < 0.05（即有95%的把握认为提升是真实的），则结果显著。

3. 代码示例

下面模拟一个简单的A/B测试场景：比较新旧两个推荐模型对商品点击率（CTR）的影响。

import numpy as np
import scipy.stats as stats
import pandas as pd

# 1. 模拟实验数据
np.random.seed(42)
n_users = 10000 # 每组用户数

# 假设旧模型的基准CTR为 5%
control_group_clicks = np.random.binomial(1, 0.05, n_users)
# 假设新模型将CTR提升至 5.8% (相对提升16%)
treatment_group_clicks = np.random.binomial(1, 0.058, n_users)

control_ctr = control_group_clicks.mean()
treatment_ctr = treatment_group_clicks.mean()

print(f"对照组 (旧模型) 样本量: {n_users}, 点击率 (CTR): {control_ctr:.4f}")
print(f"实验组 (新模型) 样本量: {n_users}, 点击率 (CTR): {treatment_ctr:.4f}")
print(f"绝对提升: {(treatment_ctr - control_ctr):.4f}")
print(f"相对提升: {((treatment_ctr - control_ctr) / control_ctr) * 100:.2f}%")

# 2. 进行统计检验 (双样本Z检验，适用于比例检验)
# 计算合并比例
p_pool = (control_group_clicks.sum() + treatment_group_clicks.sum()) / (n_users * 2)
# 计算标准误
se = np.sqrt(p_pool * (1 - p_pool) * (1/n_users + 1/n_users))
# 计算Z统计量
z_stat = (treatment_ctr - control_ctr) / se
# 计算p值 (双尾检验)
p_value = 2 * (1 - stats.norm.cdf(abs(z_stat)))

print(f"\n统计检验结果:")
print(f"Z统计量: {z_stat:.4f}")
print(f"P值: {p_value:.6f}")
print(f"是否显著 (α=0.05)? {'是' if p_value < 0.05 else '否'}")

# 3. 做出决策
alpha = 0.05
if p_value < alpha and (treatment_ctr - control_ctr) > 0:
    print("\n决策：新模型提升显著且为正向，建议上线。")
else:
    print("\n决策：新模型效果未达统计显著，建议继续观察或优化模型。")

输出示例：

对照组 (旧模型) 样本量: 10000, 点击率 (CTR): 0.0502
实验组 (新模型) 样本量: 10000, 点击率 (CTR): 0.0580
绝对提升: 0.0078
相对提升: 15.54%

统计检验结果:
Z统计量: 2.4550
P值: 0.014096
是否显著 (α=0.05)? 是

决策：新模型提升显著且为正向，建议上线。

4. 实践练习

练习1：基础分析

修改上述代码，假设你收集到的数据如下：

对照组：样本量 n_control=5000，点击次数 clicks_control=245
实验组：样本量 n_treatment=5200，点击次数 clicks_treatment=295 请计算两组的CTR、相对提升、Z统计量和P值，并给出你的上线决策。

练习2：多变量测试设计

假设你同时测试了两个新特征（A和B）对模型的影响。你会如何设计实验？

选项1：A/B/C测试（对照组、仅加A组、仅加B组）。
选项2：A/B测试，但实验组模型同时包含了A和B。请分别说明这两种设计的优缺点，以及在什么情况下选择哪种设计。

练习3：全面上线策略

你的A/B测试结果显著为正，你准备将新模型推送给所有用户。请草拟一个分阶段上线的策略（至少两个阶段），并说明每个阶段的目标、分流比例和监控重点。

5. 常见错误

样本量不足，过早下结论：实验运行时间太短，样本量太小，结果波动大，容易得出错误结论。务必事先计算好所需的最小样本量。
只看核心指标，忽略护栏指标：新模型可能提升了点击率，但导致页面加载变慢、服务器错误率飙升，最终损害用户体验。必须监控一组关键护栏指标。
多次“偷看”结果并提前停止：在实验中途反复检查p值，一旦看到显著就停止实验，这会大大增加犯第一类错误（假阳性）的概率。应预设实验时长或样本量。
分流不随机或存在干扰：比如将新用户都分给新模型，老用户都分给旧模型，这无法归因于模型本身。确保分流是用户ID哈希等随机方式。
忽略长期效应：A/B测试通常在几周内完成，但模型可能对用户习惯有长期影响（如上瘾性、疲劳感）。重要模型需要更长期的观察。

6. 小结

A/B测试是模型上线的“金标准”：它是连接离线研究与在线价值的桥梁，用数据驱动决策，替代主观猜测。
设计重于分析：一个设计良好（随机分流、明确指标、足够样本量）的实验，其结果自然可信。
统计显著性 ≠ 实际显著性：p值很小只说明结果不太可能是随机波动，但提升幅度可能微不足道。要结合效果大小（如CTR的绝对/相对提升）做商业判断。
模型上线不是终点：采用灰度发布（逐步扩大新模型流量）等策略，可以持续监控线上效果，平稳过渡，并为快速回滚留出余地。

核心要点回顾：当你对一个新模型是否真正“更好”存有疑问时，不要猜——设计一个严谨的A/B测试，用数据说话。

练习编辑器

rust

A/B 测试与模型上线策略