故障背景与现象描述
在企业虚拟化环境中，VMware vSphere ESXi主机作为底层基础设施，其稳定性直接决定了上层虚拟机业务的正常运行。近期，某中型企业的核心生产服务器出现严重性能瓶颈。监控大屏显示，一台配置为双路Intel Xeon Gold处理器、拥有32个物理核心的ESXi 7.0主机，其CPU使用率持续维持在100%，且长时间无法回落。
具体表现为：
- 宿主机响应迟缓，SSH连接延迟极高，有时甚至需要数分钟才能建立连接。
- vCenter Server中的主机图标由绿色变为黄色告警状态。
- 运行在该主机上的关键业务虚拟机（如ERP数据库、OA系统）出现明显卡顿，应用程序响应时间从秒级延长至分钟级。
- 尝试重启受影响的服务或虚拟机无效，问题具有持续性。
初步诊断与数据收集
面对此类CPU饱和故障，首先需要排除“假性”高负载，即监控数据不准确的情况，随后深入分析导致高负载的具体进程和资源争用情况。
1. 确认监控数据真实性
首先登录vCenter，查看该主机的实时性能图表。如果vCenter显示的CPU就绪时间（CPU Ready）较高，说明虚拟机请求CPU资源时无法及时获得调度，这是典型的CPU资源争用信号。同时，检查是否有虚拟机被设置为“CPU预留”过高，导致其他虚拟机无法获取资源。
2. 登录ESXi主机进行现场排查
由于Web界面可能因高负载而加载缓慢，建议通过ESXi Shell或直接使用iDRAC/ILO带外管理口进行连接。执行以下命令查看当前资源占用情况：
top命令分析：
在SSH或Console中运行top命令。重点关注%Cpu(s)行。如果wa(iowait) 占比低，而us(user) 或sy(system) 占比高，说明是计算密集型任务或系统调用导致的拥堵。
vmkload_mod 与 esxtop 结合：
按c键切换到CPU视图，观察哪个虚拟CPU（vCPU）占用率最高。如果某个特定宿主机的核心持续满载，需进一步排查是否由特定的虚拟机进程引起。
常见原因深度剖析
根据实战经验，ESXi主机CPU持续100%通常由以下三类原因导致：
1. 虚拟机配置不合理导致的“吵闹邻居”效应
如果主机上运行了多个计算密集型虚拟机，且未合理划分资源配额，当一个虚拟机突发高负载时，会迅速耗尽宿主机的物理核心资源。特别是当虚拟机的vCPU数量远超物理核心数，或者未正确设置CPU拓扑结构时，会导致上下文切换开销巨大，进一步加剧CPU饱和。
2. 后台进程异常或驱动程序Bug
ESXi内核中的一些后台进程，如 hostd、vpxa 或存储驱动程序，如果出现内存泄漏或陷入死循环，会占据大量CPU时间片。此外，某些第三方插件或自定义脚本也可能在后台无限制运行。
3. CPU就绪时间（CPU Ready）过高
在 esxtop 中，如果看到 RDY%（Ready Percentage）超过20%-30%，意味着虚拟机大部分时间在等待CPU调度。这并非物理CPU真的被算满，而是调度器无法及时分配资源，通常是因为超分比过高或物理核心数不足。
实战解决方案与优化步骤
针对上述分析，采取以下分级处理策略以快速恢复性能并防止复发。
第一步：紧急止血——限制高负载虚拟机资源
若发现某台虚拟机CPU占用极高：
1. 在vSphere Client中找到该虚拟机。
2. 右键点击 > 编辑设置 (Edit Settings)。
3. 在 CPU 选项卡中，找到 资源分配 (Resource Allocation)。
4. 取消勾选 reservations 中的自动调整，手动设置一个合理的上限，或使用 Limits 功能限制其最大可用CPU周期。例如，将其限制为不超过物理核心总容量的80%。
第二步：清理异常进程
如果 top 命令显示非虚拟机相关的宿主进程（如 vsppm 或其他内核线程）占用过高：
1. 记录占用最高的进程PID。
2. 使用 kill -9 <PID> 强制终止可疑进程（需谨慎操作，避免终止关键系统进程）。
3. 若不确定，可尝试重启该主机的 services.sh 服务：
/etc/init.d/hostd restart 和 /etc/init.d/vpxa restart。
4. 如果问题依旧，且怀疑是驱动或固件Bug，建议在维护窗口重启ESXi主机。
第三步：优化资源配置与架构调整
为解决根本问题，需进行长期的资源治理：
1. **检查CPU热添加/热插拔**：确保虚拟机未开启 Hot Add CPU，此功能会显著增加调度开销，仅在极少数特殊场景下开启。
2. **调整CPU拓扑**：对于高性能应用（如SQL Server、Oracle），建议将虚拟机的Socket数与核心数匹配物理主机的硬件拓扑，减少虚拟化层的模拟开销。
3. **启用NUMA感知**：在vCenter主机属性中，确保启用了 Hypervisor NUMA Awareness，这有助于VMware调度器更智能地分配CPU资源，避免跨节点访问内存带来的延迟。
4. **实施DPM策略**：配置分布式资源调度（DRS）和动态电源管理（DPM），让集群在负载低谷时休眠部分主机，在高峰时自动迁移虚拟机，平衡整体负载。
第四步：内核参数微调（进阶）
对于极端的CPU争用场景，可通过修改ESXi高级参数优化调度行为：
- CPUSched.quantumsz：适当减小该值可以增加CPU调度的频率，使短小任务响应更快，但可能增加上下文切换开销。一般保持默认即可，除非有特定的实时性需求。
- HwTscFreq：确保时间戳计数器频率同步，避免虚假的CPU负载计算。
验证与监控
执行完优化措施后，持续观察 esxtop 的性能指标：
- AVG-Ctld (Average Coalesced Time)：应保持在较低水平。
- RDCST (Resource Consumption per Core)：各核心负载趋于均衡。
- RDY%：应低于5%-10%的健康阈值。
总结
ESXi主机CPU持续100%往往不是单一故障，而是资源规划、配置规范及运维监控共同作用的结果。通过快速定位高负载源、临时限制资源、优化虚拟机拓扑及长期实施DRS自动化管理，可以有效解决此类性能危机。建议企业建立常态化的资源容量规划机制，定期审查虚拟机与物理资源的配比，确保虚拟化平台的稳定高效运行。