智能近乎免费之后怎么办:面向智能体、由智能体构成、由智能体构建的数据系统
UC Berkeley 的 Aditya G. Parameswaran 与合作者提出,随着推理成本趋近于零(GPT-4 级能力从 2023 年初约 $30/百万 token 降至 $1 以下,部分厂商低于 $0.10),数据系统面临三大挑战:为智能体、由智能体构成、由智能体构建。
UC Berkeley 的 Aditya G. Parameswaran 与合作者提出,随着推理成本趋近于零(GPT-4 级能力从 2023 年初约 $30/百万 token 降至 $1 以下,部分厂商低于 $0.10),数据系统面临三大挑战:为智能体、由智能体构成、由智能体构建。
Berkeley AI Research 的分析指出,自适应并行推理正成为高效推理扩展的下一个范式——由模型自行决定何时分解子任务、生成多少并发线程并加以协调。