跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

43 条精选近 30 天 41 条共收录 292 条

更新

精选归档 · 第 3 页

9月24日周四第 41–43 条
  1. Google DeepMind63

    Google DeepMind 为 Private AI Compute 引入安全的服务端持久记忆

    Google DeepMind 宣布为 Private AI Compute 平台引入私密的服务端记忆层,让 AI 在跨设备间保持长期连续性的同时维持与端侧处理同级的隐私标准。

    推荐理由:原文给出安全飞地、加密通道与设备端密钥相结合的架构细节,可迁移到其他需要云上持久记忆的隐私保护设计中。

9月17日周四
  1. GitHub Blog · AI & ML86

    GitHub 将 Copilot agent runtime 迁移至 Rust,大部分代码由 Copilot 智能体编写

    支撑 Copilot CLI、应用和 SDK 的 Copilot agent runtime 已从 TypeScript 完全重写为 832,378 行生产级 Rust,大部分代码由 Copilot 智能体经 128 个 PR 以逐组件原子替换的方式完成,运行时性能提升数个数量级。

    推荐理由:原文完整记录了用智能体完成大规模语言迁移的方法与数据,原地原子替换和提示缓存策略可直接迁移到同类重构项目。

8月20日周四
  1. Mistral AI71

    Mistral AI 发布 Agentic Search:为 AI 系统提供更准确高效的检索结果

    Mistral AI 发布 Agentic Search 检索层,以多步检索循环让模型在复杂文档中查找、检视并验证信息,在 FinanceBench 上将正确率从 26.7% 提升至 86%,在 OfficeQA Pro 上从 6.3% 升至 51.9%,p90 延迟最高降低 39.6%,token 消耗最多减少三分之一。

    推荐理由:原文用两组基准给出 Agentic Search 相对一次式 RAG 的准确率、token 与延迟对比,可据此判断多步检索循环的收益边界。