Socket连接超时设置错误导致的服务不可用

// 错误示例：连接超时为0或过长
// 情况1：超时为0 - 立即失败
Socket socket = new Socket();
socket.connect(new InetSocketAddress(host, port), 0); // 危险！

// 情况2：超时过长 - 资源长期占用
socket.connect(new InetSocketAddress(host, port), 300000); // 5分钟 - 同样危险！

// 错误设置示例
socket.setSoTimeout(0); // 无限等待 - 灾难性选择！
socket.setSoTimeout(300000); // 5分钟 - 仍然危险

// 注意：标准Socket API不直接支持写入超时
// 需要通过异步方式或NIO实现

// 事故代码片段
public class PaymentService {
    public boolean processPayment(String orderId) {
        Socket socket = null;
        try {
            socket = new Socket(paymentHost, paymentPort);
            socket.setSoTimeout(60000); // 60秒读取超时
            
            // 发送支付请求
            OutputStream out = socket.getOutputStream();
            out.write(paymentData.getBytes());
            
            // 等待响应（这里可能阻塞60秒！）
            InputStream in = socket.getInputStream();
            byte[] buffer = new byte[1024];
            int bytesRead = in.read(buffer); // 潜在阻塞点
            
            // 处理响应...
            return true;
        } catch (Exception e) {
            logger.error("支付处理失败", e);
            return false;
        }
    }
}

第三方支付响应慢(20秒) 
→ 每个请求占用线程60秒 
→ 线程池迅速耗尽(100线程 × 60秒 = 最大6000QPS)
→ 新请求排队等待
→ 队列积压
→ 全服务不可用

public class TimeoutConfig {
    // 连接超时：2-5秒（根据网络质量调整）
    public static final int CONNECTION_TIMEOUT = 3000;
    
    // 读取超时：根据业务需求分层设置
    public static final int FAST_OPERATION_TIMEOUT = 1000;    // 快速操作
    public static final int NORMAL_OPERATION_TIMEOUT = 5000;  // 普通操作
    public static final int SLOW_OPERATION_TIMEOUT = 30000;   // 慢操作（需谨慎）
    
    // 总超时：控制整个操作的最长时间
    public static final int TOTAL_OPERATION_TIMEOUT = 10000;
}

public class ResilientHttpClient {
    private final CircuitBreaker circuitBreaker;
    private final HttpClient httpClient;
    
    public String callWithResilience(String url) {
        return circuitBreaker.executeSupplier(() -> {
            // 设置合理的超时
            RequestConfig config = RequestConfig.custom()
                .setConnectTimeout(3000)
                .setSocketTimeout(5000)
                .setConnectionRequestTimeout(1000)
                .build();
            
            // 执行请求
            return httpClient.execute(request);
        });
    }
}

public class AdaptiveTimeoutManager {
    private Map<String, ResponseTimeStats> serviceStats = new ConcurrentHashMap<>();
    
    public int getSuggestedTimeout(String serviceName) {
        ResponseTimeStats stats = serviceStats.get(serviceName);
        if (stats == null) {
            return DEFAULT_TIMEOUT;
        }
        
        // 基于P99响应时间计算超时
        double p99 = stats.getP99ResponseTime();
        return (int) (p99 * 2.5); // 2.5倍P99时间
    }
    
    public void updateResponseTime(String serviceName, long responseTime) {
        // 更新响应时间统计
        serviceStats.computeIfAbsent(serviceName, 
            k -> new ResponseTimeStats()).record(responseTime);
    }
}

# 超时率监控
http_client_timeout_rate{service="order-service"} 0.05

# 响应时间百分位数
http_client_response_time_p99{service="payment-service"} 1200

# 活跃线程数
thread_pool_active_threads{pool="http-client-pool"} 45

alert_rules:
  - alert: HighTimeoutRate
    expr: http_client_timeout_rate > 0.01
    for: 5m
    annotations:
      description: "服务超时率超过1%，当前值 {{ $value }}"
      
  - alert: ThreadPoolExhaustion
    expr: thread_pool_active_threads / thread_pool_max_threads > 0.8
    for: 2m
    annotations:
      description: "线程池使用率超过80%"