第 59 课·模型选择与调优高级

Optuna 自动超参数优化框架

hyperparameteroptuna

第59课 - Optuna 自动超参数优化框架

所属模块： 模型选择与调优 难度： 高级 (Advanced) 标签： hyperparameter, optuna 上一课： 随机搜索与贝叶斯优化 下一课： Scikit-learn Pipeline 构建完整工作流

1. 学习目标

完成本课后，你将能够：

  • 理解 Optuna 的核心设计思想及其相较于传统调参方法的优势。
  • 掌握如何使用 Optuna 定义目标函数（Objective Function）和超参数搜索空间。
  • 学会运行优化实验（Study），并从其结果中获取最佳超参数组合。
  • 利用 Optuna 强大的可视化功能分析超参数重要性和优化历史。
  • 了解如何为优化过程添加早停（Pruning）策略以提升效率。

2. 核心概念

Optuna 是什么？ 想象一下，你正在黑暗中摸索一个房间，试图找到一个隐藏的开关（最优超参数）。传统的“网格搜索”就像用尺子一寸一寸地量遍整个房间；“随机搜索”则是闭着眼睛在房间里随机乱摸。而 Optuna 就像一个拥有红外夜视仪和空间记忆的智能助手。它能记住你已经摸过的地方，预测更可能藏着开关的区域，并引导你高效地完成搜索。它是一个基于贝叶斯优化的下一代超参数优化框架。

为什么选择 Optuna？

  1. 智能且高效：采用 TPE（Tree-structured Parzen Estimator）等算法，能根据历史试验结果智能地提议下一组最有希望的参数，通常比随机搜索更快地找到好结果。
  2. 直观的 Python API：定义搜索空间就像写普通的条件语句（if, for），非常灵活自然。
  3. 强大的可视化：内置函数可以轻松绘制优化历史、参数重要性图等，让调参过程不再是“黑箱”。
  4. 框架无偏：可与 PyTorch, TensorFlow, Scikit-learn, XGBoost 等几乎所有主流机器学习框架无缝集成。
  5. 支持分布式：可以通过数据库（如 MySQL, Redis）轻松实现多机并行优化，加速大规模搜索。

核心工作流程：

  1. 定义目标函数 (Objective Function)：这是你的核心任务。它接收一组超参数作为输入，训练模型，并返回一个衡量模型性能的数值（如损失值或准确率）。Optuna 的目标就是最大化或最小化这个值。
  2. 定义搜索空间：在目标函数内部，使用 suggest_* 方法为每个超参数指定范围和类型（如整数、浮点数、分类变量）。
  3. 创建 Study 并运行优化：Study 是优化实验的抽象。你告诉它优化方向（maximize 或 minimize），然后调用 optimize 方法开始搜索。
  4. 分析结果：从 Study 对象中提取最佳参数，并使用其可视化功能深入理解优化过程。

3. 代码示例

下面是一个完整的示例，我们使用 Optuna 为 Scikit-learn 的随机森林分类器在 Iris 数据集上优化超参数。

# 1. 导入必要的库
import optuna
from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import train_test_split

# 2. 加载数据
iris = load_iris()
X, y = iris.data, iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 3. 定义目标函数（核心！）
def objective(trial):
    # 使用 trial.suggest_* 方法定义超参数的搜索空间
    # trial.suggest_int(name, low, high) 定义一个整数范围
    n_estimators = trial.suggest_int('n_estimators', 10, 200)
    
    # trial.suggest_float(name, low, high, log=True) 定义一个对数尺度的浮点数范围
    # log=True 适合像学习率、正则化系数这样跨越多个数量级的参数
    max_depth = trial.suggest_int('max_depth', 2, 32, log=True)
    
    # trial.suggest_categorical(name, choices) 定义一个分类（离散）变量
    criterion = trial.suggest_categorical('criterion', ['gini', 'entropy'])
    
    # trial.suggest_float(name, low, high) 定义一个均匀分布的浮点数
    min_samples_split = trial.suggest_float('min_samples_split', 0.1, 1.0)
    
    # 4. 用提议的超参数创建模型
    clf = RandomForestClassifier(
        n_estimators=n_estimators,
        max_depth=max_depth,
        criterion=criterion,
        min_samples_split=min_samples_split,
        random_state=42,
        n_jobs=-1
    )
    
    # 5. 使用交叉验证评估模型，返回评估指标
    # 我们希望最大化准确率，所以返回 accuracy
    score = cross_val_score(clf, X_train, y_train, cv=5, scoring='accuracy').mean()
    
    # 注意：如果是最小化问题（如损失），直接返回 score。
    # 如果是最大化问题（如准确率），返回 score，Optuna 会自动处理。
    return score

# 6. 创建一个 Study 对象，并指定优化方向
study = optuna.create_study(direction='maximize')  # 我们希望最大化准确率

# 7. 运行优化过程，n_trials 指定尝试的总次数
study.optimize(objective, n_trials=50, show_progress_bar=True)

# 8. 输出最佳结果
print(f"最佳准确率: {study.best_value:.4f}")
print(f"最佳超参数组合:")
for key, value in study.best_params.items():
    print(f"  {key}: {value}")

# 9. (可选) 使用最佳参数在测试集上最终评估
best_clf = RandomForestClassifier(**study.best_params, random_state=42, n_jobs=-1)
best_clf.fit(X_train, y_train)
test_accuracy = best_clf.score(X_test, y_test)
print(f"测试集准确率: {test_accuracy:.4f}")

# 10. 可视化优化过程 (需要在有图形界面的环境如Jupyter中运行)
# optuna.visualization.plot_optimization_history(study).show()
# optuna.visualization.plot_param_importances(study).show()

4. 实践练习

练习一：基础调参

  • 目标：为支持向量机（SVM）分类器优化超参数。
  • 要求：
    1. 将上述代码模板中的模型从 RandomForestClassifier 替换为 SVC。
    2. 为 SVM 的关键超参数 C（正则化参数）和 kernel（linear, rbf, poly）定义合适的搜索空间。C 通常在 [1e-3, 1e3] 之间，建议使用对数尺度 (log=True)。
    3. 运行 30 次试验，并输出最佳准确率和参数。
  • 预期输出示例： 
    最佳准确率: 0.9750
最佳超参数组合:
  C: 2.56
  kernel: rbf

练习二：引入早停（Pruning）

  • 目标：学习如何使用剪枝策略提前终止没有希望的试验，节省计算资源。
  • 要求：
    1. 在练习一的基础上，修改 objective 函数。
    2. 将评估方式从 cross_val_score 改为多次迭代（如划分训练集为训练/验证集）。在每次迭代（或每隔几次）后，使用 trial.report(value, step) 报告当前性能。
    3. 使用 trial.should_prune() 检查是否应被剪枝。如果为真，抛出 optuna.TrialPruned 异常。
    4. 在 create_study 时，通过 pruner=optuna.pruners.MedianPruner() 参数启用中位数剪枝器。
  • 预期输出：优化日志中应出现 Trial ... pruned. 的信息。

5. 常见错误

  • 错误1：目标函数返回值不正确。
    • 症状：优化结果很差或不变。
    • 原因：对于最大化问题（如准确率），你错误地返回了损失值（需要最小化）。
    • 解决：仔细检查 create_study(direction=...) 和 return 语句的逻辑是否一致。
  • 错误2：搜索空间定义不合理。
    • 症状：优化无法收敛，或结果不稳定。
    • 原因：范围过大（如学习率从 1e-10 到 1e10）或类型错误（将浮点参数定义为整数）。
    • 解决：根据先验知识设置合理的参数范围，并使用正确的 suggest_* 函数。
  • 错误3：忘记保存或恢复 Study。
    • 症状：程序中断后，所有优化历史丢失。
    • 原因：默认情况下，Study 对象存在于内存中。
    • 解决：使用 storage 参数（如 storage=‘sqlite:///example.db’）创建持久化的 Study，或使用 joblib.dump(study, ‘study.pkl’) 保存。
  • 错误4：在可视化时出错。
    • 症状：调用 plot_* 函数报错。
    • 原因：在非交互式环境（如脚本）中直接调用 .show() 可能无法显示图表。
    • 解决：先在代码中引入 optuna.visualization，然后调用 plot_xxx(study)，在 Jupyter Notebook 中通常能直接显示，或使用 fig.write_html(“plot.html”) 保存为网页。

6. 小结

本节课，我们深入学习了 Optuna，一个强大而灵活的自动超参数优化框架。

  • 核心优势：Optuna 通过贝叶斯优化智能引导搜索，比网格和随机搜索更高效；其 Pythonic 的 API 让定义复杂搜索空间变得直观。
  • 核心 API：掌握 objective(trial) 函数、trial.suggest_* 系列方法、create_study() 和 study.optimize() 是使用 Optuna 的四大基石。
  • 可视化价值：利用 optuna.visualization 模块可以直观理解优化动态和参数重要性，让模型调优从“艺术”走向“科学”。
  • 可扩展性：Optuna 原生支持分布式优化和早停策略，使其能够应对大规模、耗时的模型训练任务。

掌握 Optuna 将极大提升你的模型调优效率和成功率。下一课，我们将学习如何将 Optuna 这类工具整合到完整的机器学习工作流中，构建可复用、自动化的 Scikit-learn Pipeline。

练习编辑器

rust
Loading...

继续学习

完成本课后，建议继续学习下一课「Scikit-learn Pipeline 构建完整工作流」 以巩固所学知识。