跳到正文
Hacker News 首页(≥150分)· amrrs·· 22 天前AI 评分38

不自己运行 LLM 代理,你怎么知道发生了什么?

If you don't run your own LLM proxy, how do you know whats going on?

AI 导读

作者主张开发者应自行部署 LLM 代理,而非依赖厂商前端提供的用量统计。自建代理可在单一端点统一接入多家供应商与模型,记录哪个 key 在何时调用了哪个模型及状态,并用虚拟 API key 避免主密钥散落各处。作者称借助代理 API,编码会话中出现 cache miss 时可在 20 秒内手工定位原因。

来源:Hacker News 首页(≥150分) · jrdsgl.com