一、先定义什么叫可用
能连上不代表能完成一次编程任务。Code Switch R 把状态拆成 DNS、TLS、HTTP、模型响应和延迟五层,只有达到阈值才把线路标记为健康。
二、健康检查和熔断
后台定时发送轻量探针,连续失败时暂时摘除节点,冷却后再半开探测。这样不会让每次请求都撞在已经失效的中转上。
| 状态 | 动作 |
|---|---|
| 健康 | 正常接收请求 |
| 连续失败 | 降权并熔断 |
| 冷却结束 | 发送半开探针 |
三、优先级路由与平滑切换
为每个渠道配置优先级、倍率和最大延迟。新请求在健康节点中选择,正在进行的流式响应不强制迁移,避免半截输出。
四、最小配置示例
把多个 Base URL 写进配置文件,用环境变量保护密钥。工具负责路由,客户端仍然只连接一个本地地址。
yaml
routes:
- name: primary
priority: 10
base_url: https://primary.example.com
- name: backup
priority: 20
base_url: https://backup.example.com
health_check:
interval: 30s
max_failures: 3五、部署后如何验证
先故意停止主线路,确认新请求自动落到备用;再恢复主线路,确认它经过半开检查后回到优先队列。最后查看日志中的切换原因和耗时。