如何通过API返回数据监控DeepSeek API硬盘缓存的实际命中情况?

我希望优化我的应用以最大化利用DeepSeek的缓存优势,但我不清楚我的请求实际命中了多少缓存。请问在API返回的结果中,我应该在哪里查看缓存命中的具体数据?这些数据能帮我分析出哪些关于服务性能和成本节约的信息?

问题最优答案
热心网友
2025-11-04

为了帮助用户清晰地了解硬盘缓存带来的效果,DeepSeek API 在返回的 usage 对象中,专门增加了两个字段来实时展示缓存的命中和未命中情况。

查询缓存命中情况的字段

您需要检查 API 响应中的 usage 部分,重点关注以下两个字段:

  • prompt_cache_hit_tokens:这个数值表示本次请求中,成功从缓存中读取的 tokens 数量。这些 tokens 仅按照 0.1 元/百万 tokens 的低价收费。
  • prompt_cache_miss_tokens:这个数值表示请求输入中,因未命中缓存而需要重新计算的 tokens 数量,将按标准价格计费。

数据分析价值

通过对比这两个数值,您可以清晰地进行性能和成本分析:

  • 延迟优化分析: 如果 prompt_cache_hit_tokens 占比高,特别是对于长输入请求,您应该能观察到首 token 延迟的大幅降低(例如,将 13 秒延迟降至 500 毫秒)。
  • 费用节约评估: 高命中率直接意味着您的整体 API 费用降低。您可以根据这两个值精确计算出本次请求节省了多少费用。

利用这些实时反馈数据,您可以更有针对性地调整您的应用逻辑,以最大化 DeepSeekAPI 缓存的优势。

回答问题

登录后才能发布评论哦
立即登录/注册
消息提醒
Hello, world! This is a toast message.