第 89 课·系统监控与调优高级

I/O 调度器与磁盘优化

io-schedulerdisk

第89课：I/O 调度器与磁盘优化

所属模块：系统监控与调优 难度：高级 标签：io-scheduler, disk 上一课：内核参数调优 sysctl 下一课：内存管理与调优

1. 学习目标

完成本课学习后，你将能够：

  1. 识别 Linux 系统中常见的 I/O 调度器（如 noop、deadline、cfq）及其基本工作原理。
  2. 查看和修改 当前系统及单个块设备（磁盘）所使用的 I/O 调度器。
  3. 理解 不同 I/O 调度器对 I/O 性能的影响，并能根据应用场景（如数据库、Web 服务器、桌面系统）选择合适的调度器。
  4. 掌握 除 I/O 调度器外，其他关键的磁盘性能优化手段，如文件系统参数调整、预读设置等。

2. 核心概念

2.1 什么是 I/O 调度器？

想象一下，你的应用程序发出多个磁盘读写请求。这些请求就像车辆，而 I/O 调度器就是这个路口的“交通指挥官”。它的主要职责是重新排序和合并这些请求，目的是最大化磁盘性能（吞吐量）、最小化响应延迟，或者实现某种公平性。

  • 合并：如果多个请求是读取磁盘上连续的区域，调度器可以将它们合并成一个更大的请求，减少磁盘头的移动（寻道）次数。
  • 排序：将随机的读写请求按磁盘扇区的物理位置重新排序，让磁盘头像“之”字形一样高效移动，而不是来回“跳转”。

2.2 常见的 I/O 调度器

从 Linux 内核 5.0 开始，默认的 I/O 调度器是 mq-deadline（多队列版本）。在较旧的系统中，你可能还会看到以下几种：

  • noop (No Operation)：

    • 原理：它基本不做什么复杂的调度，只是简单地将请求放入队列，按先进先出（FIFO）的顺序传递给设备。
    • 适用场景：非常适合快速随机存取设备，如 SSD（固态硬盘） 和 NVMe 硬盘。因为这些设备几乎没有寻道时间，复杂的调度算法反而会带来不必要的 CPU 开销。

  • deadline：

    • 原理：它为每个请求设置一个“截止时间”，并维护两个队列（一个读，一个写）。它总是优先处理“读”请求，因为读操作通常对延迟更敏感。同时，它会确保任何请求都不会被无限期地推迟，避免“饥饿”。
    • 适用场景：非常适合数据库等需要低延迟和公平性的场景。

  • cfq (Completely Fair Queuing)：

    • 原理：它试图为每个进程分配“公平”的磁盘带宽。通过记录每个进程的 I/O 历史，它能识别出交互式进程（对延迟敏感）和批量进程（对吞吐量敏感），并给予交互式进程更高的优先级。
    • 适用场景：传统的桌面系统和多用户服务器，以确保用户体验的流畅性。在现代内核中，其地位多被 bfq（Budget Fair Queuing）取代。

  • kyber：

    • 原理：一个较新的调度器，它根据同步（sync）和异步（async）I/O 的目标延迟，动态调整队列深度。
    • 适用场景：追求高吞吐量和低延迟的 NVMe SSD 和高速存储环境。

2.3 磁盘优化不止于调度器

I/O 调度器是磁盘 I/O 路径上的一个优化点，但整体的磁盘性能还受以下因素影响：

  • 文件系统：其本身的布局、日志记录方式。
  • 挂载选项：如 noatime（不记录访问时间），data=writeback（日志模式）等。
  • 预读设置：内核提前读取后续数据块的大小。
  • 队列深度：磁盘硬件支持的并行 I/O 请求数。

3. 代码示例

3.1 查看当前 I/O 调度器

# 列出所有块设备（磁盘和分区）
lsblk
# 输出示例：
# NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
# sda      8:0    0 238.5G  0 disk
# ├─sda1   8:1    0   512M  0 part /boot
# └─sda2   8:2    0   238G  0 part
#   ├─vg-root 252:0  0  234G  0 lvm  /
#   └─vg-swap 252:1  0    4G  0 lvm  [SWAP]
# sr0     11:0    1  1024M  0 rom
# nvme0n1 259:0    0 476.9G  0 disk  # 假设这是一块NVMe SSD

# 查看特定设备的调度器（以 `/dev/sda` 和 `/dev/nvme0n1` 为例）
cat /sys/block/sda/queue/scheduler
# 输出示例：[mq-deadline] kyber bfq none
# 方括号 `[]` 中的是当前正在使用的调度器。

cat /sys/block/nvme0n1/queue/scheduler
# 输出示例：[none] mq-deadline kyber
# NVMe 设备通常默认使用 `none`，其效果类似 `noop`。

# 更通用的工具 `dstat` 或 `iotop` 可以实时监控 I/O 活动。

3.2 动态修改 I/O 调度器（临时）

# 将 `/dev/sda` 的 I/O 调度器修改为 `deadline`
echo 'deadline' | sudo tee /sys/block/sda/queue/scheduler
# 再次查看确认
cat /sys/block/sda/queue/scheduler
# 输出应变为：[mq-deadline] kyber bfq none

# 将 `/dev/nvme0n1` 的 I/O 调度器修改为 `mq-deadline`（虽然通常用 `none`）
echo 'mq-deadline' | sudo tee /sys/block/nvme0n1/queue/scheduler

3.3 永久修改 I/O 调度器（重启后生效）

方法一：使用 udev 规则（推荐）。

# 创建或编辑 udev 规则文件
sudo nano /etc/udev/rules.d/60-io-scheduler.rules

# 添加如下内容，根据设备类型设置不同调度器
# 对于传统旋转磁盘 (HDD) sda, 使用 deadline
ACTION=="add|change", KERNEL=="sd[a-z]", ATTR{queue/rotational}=="1", ATTR{queue/scheduler}="deadline"

# 对于固态硬盘 (SSD) 和 NVMe， 使用 none 或 mq-deadline
ACTION=="add|change", KERNEL=="nvme[0-9]*n[0-9]*", ATTR{queue/scheduler}="none"
ACTION=="add|change", KERNEL=="sd[a-z]", ATTR{queue/rotational}=="0", ATTR{queue/scheduler}="none"

# 保存后，重新加载 udev 规则或重启系统
sudo udevadm control --reload-rules
sudo udevadm trigger

方法二：使用内核启动参数（GRUB）。

# 编辑 GRUB 配置文件
sudo nano /etc/default/grub

# 在 `GRUB_CMDLINE_LINUX_DEFAULT` 行中添加参数，例如：
# elevator=deadline   # 全局设置默认调度器（注意：这对现代多队列内核可能不适用）
# 或者使用 scsi_mod.use_blk_mq=1 明确使用多队列框架

sudo update-grub
sudo reboot

3.4 其他关键磁盘优化参数查看与调整

# 查看当前预读设置（单位为 512 字节的扇区）
sudo blockdev --getra /dev/sda
# 例如输出：256， 表示预读 128KB (256 * 512B)

# 增大预读值，对顺序读取大的场景（如视频编辑、大文件复制）有益
sudo blockdev --setra 4096 /dev/sda  # 设置预读为 2MB

# 检查文件系统挂载选项
mount | grep ' / ' 
# 输出可能包含：`ro, errors=remount-ro`
# 查看 `/etc/fstab` 文件获取完整信息，并考虑添加 `noatime`。

4. 实践练习

练习 1：基础检查与修改

  1. 登录你的 Linux 系统，找出至少一块磁盘（如 /dev/sda）当前使用的 I/O 调度器。
  2. 将该磁盘的调度器临时修改为 cfq（如果内核支持）。
  3. 再将其修改回原调度器。

练习 2：场景分析与选择

假设你有两台服务器：

  • 服务器 A：运行一个大型的 MySQL 数据库，使用传统的 SATA SSD。
  • 服务器 B：运行一个文件下载服务，使用 NVMe SSD 作为缓存盘。
  • 问题：你会分别为这两台服务器的 SSD 磁盘选择哪种 I/O 调度器？请简述理由。

练习 3：综合优化探索

  1. 使用 lsblk -d -o NAME,ROTA,TYPE,SIZE 命令检查你的磁盘是旋转磁盘（ROTA=1）还是固态磁盘（ROTA=0）。
  2. 检查你的根文件系统（/）的预读值和挂载选项。
  3. （可选）如果你知道你的磁盘支持 NCQ（原生命令队列），可以使用 sudo hdparm -q -Q /dev/sda 查看队列深度。

5. 常见错误

  1. 盲目修改，忽略硬件：最大的错误是不区分 SSD 和 HDD。在 SSD 上使用为 HDD 优化的调度器（如 cfq），会增加无谓的开销。始终记住：SSD/NVMe 用 noop 或 none。
  2. 临时修改，忘记持久化：通过 echo 到 sysfs 的修改在系统重启后会失效。务必使用 udev 规则或内核参数进行永久化配置。
  3. 过度依赖调度器：认为换了调度器性能就能飞跃。磁盘优化是一个系统工程，文件系统选择（如 XFS vs ext4）、挂载参数、应用程序的 I/O 模式同样重要。
  4. 混淆内核版本：较新的内核（5.0+）与较旧的内核在调度器名称和行为上可能不同。例如，cfq 可能已被 bfq 取代。使用 dmesg | grep -i scheduler 查看内核日志来确认可用调度器。
  5. 不验证效果：修改后没有使用 iostat -x 1, fio 或实际应用负载来测试性能变化。优化的效果需要通过数据来验证。

6. 小结

本节课我们深入探讨了 Linux 系统中的 I/O 调度器 与 磁盘优化，关键要点如下：

  1. I/O 调度器是磁盘 I/O 的“交通指挥官”，通过合并和排序请求来优化性能。选择正确的调度器对性能有显著影响。
  2. 核心调度器选择原则：
    • 传统旋转磁盘 (HDD)：deadline 是一个性能与公平性兼顾的优秀选择。
    • 固态硬盘 (SSD) 和 NVMe：使用 noop 或其现代替代品 none（在多队列内核中），避免不必要的调度开销。
  3. 查看与修改：通过 /sys/block/<device>/queue/scheduler 接口可以方便地查看和动态修改调度器。永久修改需通过 udev 规则或内核参数。
  4. 磁盘优化是整体工程：I/O 调度器只是链条中的一环。还需关注文件系统挂载选项（如 noatime）、预读设置 (blockdev --setra)，并理解应用负载特性。
  5. 务必测试验证：任何配置修改都应通过性能监控工具和实际负载进行验证，以确保达到预期效果。

记住，没有“万能”的配置。最佳优化策略来自于对你的硬件特性、内核能力和应用需求的深刻理解。

练习编辑器

rust
Loading...

继续学习

完成本课后，建议继续学习下一课「内存管理与调优」 以巩固所学知识。