跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

133 条精选近 30 天 57 条共收录 1,122 条

更新

精选归档 · 第 7 页

10月8日周四第 121–133 条
  1. GitHub Blog · AI & ML70

    GitHub 推出 ModernBERT 密钥检测分类器,推送保护扩展至非结构化密钥

    GitHub 与 Microsoft Applied Sciences 合作微调了 ModernBERT 分类器,将推送保护扩展到非结构化密钥,可在 2 毫秒内评估候选密钥批次。

    推荐理由:原文用九个季度数据说明密钥泄露增速来自代码量而非开发者懈怠,并给出新分类器如何把防护前移到推送之前。

  2. Microsoft Research77

    微软亚洲研究院开源 Agent Lightning v1.0:约 3500 行的轻量级智能体 RL 训练框架

    微软亚洲研究院提出 Harnessed Agentic RL 训练范式并开源 Agent Lightning v1.0,让部署时使用的 agent harness 通过 LLM proxy 直接参与强化学习,无需在训练框架中重新实现 agent。

    推荐理由:核心可迁移点在于把部署用的 harness 直接接入 RL 训练,省去在训练框架中重写 agent 的成本。

10月7日周三
10月6日周二
10月3日周六
  1. OpenAI News60

    GPT-6 系列模型实践指南

    OpenAI 发布 GPT-6 系列模型实践指南,说明创业公司如何选择 GPT-6 模型、调节推理强度、优化提示词与技能、协调工具,并为生产环境准备工作流。

    推荐理由:指南覆盖模型选型、推理强度调节与生产工作流准备,可直接用于 GPT-6 多版本之间的选型与调参决策。

10月2日周五
  1. AWS Machine Learning Blog60

    使用 Amazon Quick 和 Adjudicated Query 模式批量扫描租约合规性

    AWS 提出 Adjudicated Query 模式:业务用户在 Amazon Quick 聊天界面用自然语言提问,模型只负责翻译问题和复述结果,通过/失败判定全部由确定性规则引擎完成。

    推荐理由:原文给出了一种可迁移的架构方法,把自然语言入口交给大模型、把通过/失败判定保留在确定性规则引擎中,适合需要可证明完整性与可辩护性的合规场景。

  2. Google Research68

    Google 发布基于 TEE 的新一代联邦学习系统,迈向可证明隐私的学习

    Google Research 宣布新一代联邦学习系统,利用可信执行环境(TEE)提供完全可验证、可审计的数据匿名化保证,Gboard 已率先采用。新系统由客户端加密上传与访问策略、基于 RAFT 共识的 KMS 密钥管理、用 Federated Language 编排的 TEE 训练循环以及加密恢复状态协同工作,训练时间从此前的 1-2 个月大幅缩短,同时模型准确率提升。

    推荐理由:原文对比了新旧联邦学习系统在隐私可验证性与训练效率上的差异,读者可了解 TEE 如何移除对服务器运营方的信任依赖。

9月25日周五
  1. GitHub Blog · AI & ML73

    当聊天是错误的 UI:GitHub Copilot canvas 实践

    GitHub Copilot 的 canvas 是运行在 Copilot 应用内的全栈小应用,可与智能体双向通信;作者认为聊天并非 AI 的最佳交互界面,多数场景下自定义 UI 更合适。文中演示了与 GPT-5.6 Sol 对战 Connect 4、Winget 包管理、SQLite 数据库操作等 canvas 示例,并建议让智能体构建可复用工具而非把智能体本身当工具,以避免浪费 token。

    推荐理由:作者给出可迁移的方法,与其把聊天当万能界面,不如让智能体先构建专用工具,后续交互不再消耗 token。

  2. GitHub Blog · AI & ML70

    GitHub Security Lab Taskflow Agent 实现 AI 驱动的自动化模糊测试

    GitHub Security Lab 开源了 Fuzzing Taskflow,一条面向 C/C++ 项目的全自动模糊测试流水线,只需指向 GitHub 仓库即可自动完成入口识别、harness 编写、运行 AFL++、覆盖率分析、崩溃分类和漏洞报告。

    推荐理由:原文给出了把模糊测试循环交给 LLM 智能体的完整设计,其决策与执行分离的思路可迁移到其他安全自动化流水线。

9月24日周四
  1. Google DeepMind63

    Google DeepMind 为 Private AI Compute 引入安全的服务端持久记忆

    Google DeepMind 宣布为 Private AI Compute 平台引入私密的服务端记忆层,让 AI 在跨设备间保持长期连续性的同时维持与端侧处理同级的隐私标准。

    推荐理由:原文给出安全飞地、加密通道与设备端密钥相结合的架构细节,可迁移到其他需要云上持久记忆的隐私保护设计中。

9月17日周四
  1. GitHub Blog · AI & ML86

    GitHub 将 Copilot agent runtime 迁移至 Rust,大部分代码由 Copilot 智能体编写

    支撑 Copilot CLI、应用和 SDK 的 Copilot agent runtime 已从 TypeScript 完全重写为 832,378 行生产级 Rust,大部分代码由 Copilot 智能体经 128 个 PR 以逐组件原子替换的方式完成,运行时性能提升数个数量级。

    推荐理由:原文完整记录了用智能体完成大规模语言迁移的方法与数据,原地原子替换和提示缓存策略可直接迁移到同类重构项目。

8月20日周四
  1. Mistral AI71

    Mistral AI 发布 Agentic Search:为 AI 系统提供更准确高效的检索结果

    Mistral AI 发布 Agentic Search 检索层,以多步检索循环让模型在复杂文档中查找、检视并验证信息,在 FinanceBench 上将正确率从 26.7% 提升至 86%,在 OfficeQA Pro 上从 6.3% 升至 51.9%,p90 延迟最高降低 39.6%,token 消耗最多减少三分之一。

    推荐理由:原文用两组基准给出 Agentic Search 相对一次式 RAG 的准确率、token 与延迟对比,可据此判断多步检索循环的收益边界。