跳到正文
MIT Technology Review · AI· Tim Rausch·· 3 小时前AI 评分33

AI 推理的隐性存储账单:推理留下了什么

AI’s hidden storage bill: What inference leaves behind

AI 导读

AI 推理每次请求都会在后台留下远超输出文件本身的数据,使存储成为被低估的隐性成本。WD 测得一段 3.97MB 的 8 秒 720p 视频在后台留下超过 500MB 数据,约为输出的 130 倍。McKinsey 预计推理需求到 2030 年将以 35% 的 CAGR 增长、超过训练的 22%,近 95% 受访 IT 决策者称生成式 AI 带来数据量增长。

来源:MIT Technology Review · AI · technologyreview.com