面试题：ElasticSearch集群allocation过程中，如何通过监控指标判断磁盘I/O是否成为性能瓶颈？

Question

在ElasticSearch集群的allocation过程里，涉及数据的存储和迁移，这与磁盘I/O紧密相关。请阐述你会关注哪些监控指标来判断磁盘I/O是否限制了allocation的性能，例如哪些指标的异常变化可能暗示磁盘I/O瓶颈，并说明这些指标的正常范围大概是多少。

Answer 1

1. 磁盘使用率

• 异常暗示：如果磁盘使用率持续接近100%，很可能暗示磁盘I/O瓶颈。因为几乎没有剩余空间进行数据的写入或迁移，会严重影响ElasticSearch的allocation过程。
• 正常范围：一般建议保持在70% - 80%以下，这样能为系统预留足够空间进行正常的数据操作。

2. 磁盘读写吞吐量

• 读吞吐量
  • 异常暗示：读吞吐量过低，例如远低于正常业务负载下的预期值，可能表示磁盘读取速度慢，影响数据从磁盘加载到内存，进而影响allocation。
  • 正常范围：不同磁盘类型差异较大，普通机械硬盘顺序读可能在100 - 200MB/s，固态硬盘顺序读可达500MB/s - 数GB/s。实际正常范围需根据硬件配置和业务需求确定。
• 写吞吐量
  • 异常暗示：写吞吐量持续较低，表明数据写入磁盘速度受限，无法快速完成数据的存储或迁移，是磁盘I/O瓶颈的常见表现。
  • 正常范围：普通机械硬盘顺序写可能在50 - 150MB/s，固态硬盘顺序写可达300MB/s - 数GB/s。同样，实际需结合硬件和业务确定。

3. 磁盘I/O等待时间

• 异常暗示：I/O等待时间过长，意味着进程花费大量时间等待磁盘I/O操作完成，这会明显拖慢allocation过程，是磁盘I/O性能受限的重要标志。
• 正常范围：在负载正常情况下，I/O等待时间应保持在较低水平，例如不超过几十毫秒。若超过100毫秒甚至更高，就需要关注磁盘性能问题。

4. 每秒I/O操作数（IOPS）

• 异常暗示：当实际IOPS远低于磁盘标称的最大IOPS能力，且业务负载未达到峰值时，可能存在磁盘I/O瓶颈。因为这表明磁盘无法充分利用其性能潜力，影响数据的快速存储和迁移。
• 正常范围：普通机械硬盘随机读写IOPS可能在几十到几百，固态硬盘随机读写IOPS可达数千甚至更高，具体正常范围取决于磁盘规格和业务模型。