引言
在企业级Linux服务器的运维过程中，"Connection refused"（连接被拒绝）或"Too many open files"（打开的文件太多）是较为常见的网络故障现象。许多初级运维人员容易将此类问题简单归结为带宽不足或硬件瓶颈，但实际上，这往往与操作系统的TCP/IP协议栈状态管理密切相关。特别是当并发连接数激增时，内核中的半连接队列（Syn Queue）和全连接队列（Accept Queue）极易达到上限，导致新连接无法建立。
本文将深入探讨Linux系统中TCP连接数耗尽的根本原因，并详细介绍如何使用专业工具进行诊断，以及如何通过调整`sysctl`内核参数进行长效优化。
一、 故障核心原理分析
理解TCP三次握手过程是排查此类故障的基础。在标准的TCP连接建立过程中：
- 第一步（SYN）：客户端发送SYN包，服务器进入SYN_RECV状态，此时连接处于“半连接”阶段，信息存储在半连接队列中。
- 第二步（SYN+ACK）：服务器回应SYN+ACK，等待客户端确认。
- 第三步（ACK）：客户端回复ACK，连接完成三次握手，服务器将其移至全连接队列，随后由应用程序调用accept()取出。
当攻击者发起SYN Flood攻击，或业务突然爆发大量短连接时，如果半连接队列或全连接队列满了，新的SYN包将被直接丢弃或忽略，导致客户端超时或连接拒绝。此外，每个TCP连接都会占用一个文件描述符（File Descriptor），若达到系统限制，同样会导致服务不可用。
二、 精准定位故障点
在进行调优之前，必须准确判断是哪个队列或限制导致了瓶颈。推荐使用`ss`命令替代老旧的`netstat`，因为`ss`能提供更底层的TCP状态详情。
1. 检查半连接队列状态
半连接队列的状态通常不会直接暴露在常规统计中，但可以通过观察`LISTEN`状态下的队列长度来间接推断。执行以下命令：
ss -s
关注输出中的"Total"部分，特别留意"TCP: orphaned"（孤儿连接）的数量。如果孤儿连接数异常高，说明客户端在非正常状态下断开了连接，这些连接仍占用内核资源。
2. 检查全连接队列（Accept Queue）
全连接队列的长度可以通过监听端口的状态查看。对于某个特定服务（如Nginx或MySQL），执行：
ss -ln | grep port_number
注意输出结果中`Recv-Q`和`Send-Q`列。对于监听状态的套接字：
- Recv-Q 表示当前全连接队列中等待被accept()取出的连接数。
- Send-Q 表示半连接队列的最大容量（即`max_syn_backlog`与`somaxconn`的较小值）。
如果Recv-Q的值长期接近Send-Q的最大值，或者出现波动性的高位持平，说明应用程序处理连接的速度跟不上连接建立的速度，全连接队列已满。
3. 检查文件描述符限制
每个进程和系统都有最大打开文件数的限制。检查当前系统的硬限制和软限制：
ulimit -n
同时，可以使用`lsof`命令统计特定进程打开的文件描述符数量：
lsof -p PID | wc -l
如果接近限制值，即为故障根源。
三、 内核参数调优实战
确认为队列或描述符限制后，可通过修改`/etc/sysctl.conf`文件并进行加载来优化系统表现。以下是针对高并发场景的关键参数详解：
1. 提升最大监听队列长度
net.core.somaxconn定义了系统范围内套接字监听队列的最大长度。默认值通常为128或256，对于现代服务器而言过低。
net.core.somaxconn = 65535
注意：此值应与应用程序（如Nginx的listen backlog或Java的ServerSocket backLog）设置的值保持一致或略大，否则无效。
2. 优化半连接队列处理
net.ipv4.tcp_max_syn_backlog用于增加半连接队列的大小，以应对突发流量或轻微的攻击。
net.ipv4.tcp_max_syn_backlog = 65535
3. 启用SYN Cookie防御
当半连接队列确实满载且遭受SYN Flood时，启用SYN Cookie可以让内核在不存储半连接的情况下回应SYN请求，从而保护服务不被挤占。
net.ipv4.tcp_syncookies = 1
4. 调整时间等待（TIME_WAIT）管理
高并发下，大量连接进入TIME_WAIT状态会占用端口和内存。合理配置以下参数可加速资源回收：
# 允许重用TIME_WAIT sockets
net.ipv4.tcp_tw_reuse = 1
# 缩短TIME_WAIT持续时间（秒）
net.ipv4.tcp_fin_timeout = 30
# 禁用本地端口范围限制，扩大可用端口池
net.ipv4.ip_local_port_range = 10000 65535
5. 提高文件描述符上限
除了`ulimit`，还需确保内核级别的进程数限制足够。
fs.file-max = 2097152
四、 验证与监控
修改配置后，执行`sysctl -p`使配置生效。为了确保调优效果，建议建立以下监控指标：
- 实时监控`ss -s`中的TCP连接状态分布。
- 监控应用层的拒绝连接次数（如Nginx的$connection_drops变量）。
- 使用Prometheus + Grafana采集`net.ipv4.tcp_listen_opt`相关的内核统计信息。
结语
TCP连接数耗尽并非单一维度的配置问题，而是涉及内核队列、应用处理能力及系统资源限制的综合体现。通过`ss`命令精准定位瓶颈，并结合`sysctl`参数进行针对性调优，可以显著提升Linux服务器在高并发网络环境下的稳定性和吞吐量。运维人员应避免盲目增加参数，而应基于实际监控数据进行科学调优。