René's URL Explorer Experiment

Title: perf: reuse OpenAI client and add undici keep-alive Agent with connection warmup by Lellansin · Pull Request #100 · lessweb/deepcode-cli · GitHub

Open Graph Title: perf: reuse OpenAI client and add undici keep-alive Agent with connection warmup by Lellansin · Pull Request #100 · lessweb/deepcode-cli

X Title: perf: reuse OpenAI client and add undici keep-alive Agent with connection warmup by Lellansin · Pull Request #100 · lessweb/deepcode-cli

Description: 概述 优化 OpenAI API 客户端的 HTTP 连接复用，减少用户输入间隙的 TLS 握手开销。 背景 默认 undici 全局 fetch 的 TCP 连接保活时间仅 4 秒 CLI 场景下用户阅读 LLM 输出通常需要 10–30 秒，远超 4 秒阈值 每次新 prompt（含 chat、tool use）都需要重新完成 TCP+TLS 握手（实测 ~127ms），冷启动首字节延迟 200ms+ 性能收益 每次 LLM 调用（chat、tool use 等）减少 80ms~100ms，冷启动首字节延迟从约 210ms 降至约 130ms，降幅约 38%~43%。 指标 优化前 优化后 改善 TCP+TLS 握手 每次请求 仅首次预热一次 — 冷启动 TTFB ~210ms ~130ms ↓ 38% 连接保活 4s（默认） 180s 45x 首次请求 用户等待 启动时后台预热 用户无感知 数据来源：scripts/benchmark-optimization.mjs，API 为 api.deepseek.com，deepseek-chat 模型，3 轮连续对话。 可以参考 LOL、王者等游戏的 200+ms 延迟降低到 130ms，体感上这种延迟降低可以改善使用上的手感。 从绝对值来说，100 次 chat/tool_use 大概可以节约 10s，这对长任务来说也有一定的改善收益。 改动 用自定义 undici Agent（keepAliveTimeout: 180s）替换默认 fetch 缓存复用 OpenAI client 实例（按 apiKey + baseURL 匹配） 连接预热：App 挂载时 fire-and-forget 预建 TCP+TLS 连接（3s 超时保护） 将以上逻辑提取到 src/common/openai-client.ts，保持 App.tsx 精简 文件变更 文件 说明 package.json 新增 undici: ^7.25.0 src/common/openai-client.ts 新文件：undici Agent、client 缓存、连接预热、getMachineId src/ui/App.tsx 移除 ~90 行代码，改为从 common 模块引用 src/ui/index.ts 更新 re-export 路径 检查 ✅ TypeScript 类型检查 ✅ ESLint ✅ Prettier 格式 ✅ 311 项测试全部通过

Open Graph Description: 概述 优化 OpenAI API 客户端的 HTTP 连接复用，减少用户输入间隙的 TLS 握手开销。 背景 默认 undici 全局 fetch 的 TCP 连接保活时间仅 4 秒 CLI 场景下用户阅读 LLM 输出通常需要 10–30 秒，远超 4 秒阈值 每次新 prompt（含 chat、tool use）都需要重新完成 TCP+TLS 握手（实测 ~127ms），冷启动首字节延...

X Description: 概述 优化 OpenAI API 客户端的 HTTP 连接复用，减少用户输入间隙的 TLS 握手开销。 背景 默认 undici 全局 fetch 的 TCP 连接保活时间仅 4 秒 CLI 场景下用户阅读 LLM 输出通常需要 10–30 秒，远超 4 秒阈值 每次新 prompt（含 chat、tool use）都需要重新完成 TCP+TLS 握手（实测 ~127ms），冷启动首字节延...

Opengraph URL: https://github.com/lessweb/deepcode-cli/pull/100

X: @github

direct link

Domain: github.com

Links:

Viewport: width=device-width