跳到正文
The Decoder· Matthias Bastian·· 3 小时前AI 评分73

Anthropic 推出 Message Threads 公测,长对话首 token 延迟降低约 35%

Anthropic's Message Threads cut time to first token by 35 percent for long conversations

AI 导读

Anthropic 在 Claude 平台以公测形式推出 Message Threads,API 请求只需传输自上次消息以来的增量内容,50 万至 100 万 token 请求的首 token 延迟降低约 35%。

来源:The Decoder · the-decoder.com