跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

133 条精选近 30 天 57 条共收录 1,122 条

更新

精选归档 · 第 6 页

10月17日周六第 101–120 条
  1. AWS Machine Learning Blog68

    建立对 AI 智能体的信任:基于 Amazon Bedrock AgentCore 的生产级评估框架

    AWS SMGS 运营团队基于 Amazon Bedrock AgentCore Evaluations 为其服务全球销售团队的多智能体系统搭建了九阶段生产级评估框架,覆盖从首次提交到生产运行的全生命周期。

    推荐理由:原文给出可迁移的九阶段智能体评估框架与六类失败分类法,读者可据此在生产环境中建立持续质量闭环。

10月16日周五
  1. 掘金76

    Impeccable:让 AI 编程工具学会审美的开源设计引擎

    Impeccable 是 Paul Bakaus 创建的开源设计语言工具(Apache-2.0,81.3k Stars),用 59 条不依赖 LLM 的确定性检测规则加 Skill 命令驱动的 LLM 评审双轨机制,解决 AI 生成前端千篇一律的问题。

    推荐理由:文章拆解了 Impeccable 把确定性规则与 LLM 评审分轨的架构,读者可把这套分工思路迁移到自己的 AI 工作流中。

  2. 掘金77

    Claude太能写,Anthropic把内部Git换了

    Anthropic 用 7 个人花 5 个月做出内部版本控制系统 Scion,替下原有 Git 基础设施,应对 AI 写代码加快后合并和等待跟不上的问题。

    推荐理由:原文讲清了 Anthropic 换掉内部 Git 的原因与收益,普通读者可迁移的是分清代码写完与可上线之间的差距。

  3. 博客园79

    AI 重构代码 40% 会悄悄改坏,我用 7 步 SOP 防住

    作者用 Claude Code 重构订单服务后线上 P99 延迟翻四倍,据此总结出 AI 重构必须走完的 7 步 SOP:静态分析扫真问题、梳理运行时依赖、单函数粒度小步改、先写测试再让 AI 改、用新鲜上下文做对抗性 Review、feature flag 灰度发布、git checkpoint 回滚预案。

    推荐理由:作者把踩坑经验沉淀成可复用的 7 步 SOP,并给出每一步的提示词和回滚方案,可直接迁移到自己的 AI 重构流程中。

  4. 掘金87

    Google ADK 2.0 多智能体编排解析

    本文依据 Google ADK 官方文档与博客,系统解析 ADK 2.0 的多智能体编排体系。ADK 2.0 新增结构化工作流运行时与任务协作模型,核心是图工作流、动态工作流与协作工作流三种编排方式,设计哲学为模型做决策、图保证可靠可观测可恢复。

    推荐理由:作者把 ADK 2.0 的图工作流、动态工作流与协作工作流放在同一张控制光谱上对照,并给出按控制流确定性选型的决策路径。

  5. 掘金76

    LLM Streaming 断流恢复工程实践:SSE 断点续传、Partial Response 重建与生产级容错设计

    作者团队总结了 5 种 LLM Streaming 断流恢复策略,从 Transport-Level Retry 到 Chunk-Level Checkpoint、SSE Resume Offset、Semantic Resume 与 Dual-Stream Redundancy,并给出选型决策树。

    推荐理由:原文给出五种断流恢复策略的对比与选型决策树,读者可据此判断长文本生成场景应采用哪种容错方案。

  6. IT之家76

    蚂蚁百灵开源 Ling-3.1-flash 模型,最高支持 1M 上下文

    蚂蚁百灵宣布开源 Ling-3.1-flash 模型,总参数约 560B,每 Token 激活约 25B,最高支持 1M 上下文。在 Artificial Analysis 公开评测中智能指数为 41,输出速度约每秒 210 Token。

    推荐理由:原文给出模型参数、评测指数与量化部署数据,读者可据此评估自有部署的显卡成本与响应表现。

  7. Hugging Face Blog62

    Granite Switch 4.1 发布:单一端点支持对话、决策与语音转写

    IBM Granite 团队发布 Granite-Switch-4.1-8B 与 -30B,将通用 Decision aLoRA、安全决策 Guardian aLoRA 和 OpenASR 榜单上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC 组合进一个托管端点。

    推荐理由:原文给出用 aLoRA 复用 KV cache 在单一端点组合多种能力的做法,读者可迁移到低显存多能力部署场景。

10月15日周四
  1. IT之家76

    阶跃星辰开源 Step 5 Preview 权重,华为昇腾、沐曦、壁仞等首发支持

    阶跃星辰正式开放 Step 5 Preview 模型权重,包含 BF16 与 FP8 两个版本,权重已上线 Hugging Face 和 ModelScope,可用 vLLM、SGLang 或 Transformers 部署推理。

    推荐理由:原文把权重开放入口与四家国产芯片的 Day 0 适配进展放在一起,可对照看国产算力对开源模型的响应速度。

  2. 博客园77

    你的游戏本身就是 Harness:如何让 AI Agent 读懂游戏并十倍加速迭代

    独立游戏《Cantata》制作人 Kyle Kukshtel 总结了让 AI Agent 读懂游戏的八条架构原则:固定随机种子、用 odiff 做图像差分、单一 Fat Struct、命令模式、数据外部化、独立无头模拟内核以及 samply 纯文本性能分析。

    推荐理由:原文把游戏对 LLM 不透明的症结拆成八条可落地的架构原则,非游戏项目也能照着改造自己的 Agent 工作流。

  3. 博客园76

    用 Pydantic AI 从零搭建一个能干活的 AI Agent

    作者用 Pydantic AI 从零搭建了一个个人记账分析 Agent,它能读账单、算环比、拆分类、找异常,并返回结构校验过的 SpendingInsight 对象。

    推荐理由:文章演示了用类型系统约束 Agent 输出与工具调用的完整做法,固定流程写进 Python、意图理解交给模型,思路可直接迁移到自己的数据场景。

10月14日周三
  1. 爱范儿83

    Anthropic 自研版本控制系统 Scion 替换 Git,应对 AI 代码洪流

    Anthropic 因 Claude 生成代码的速度远超 Git 承受能力,自研了版本控制系统 Scion 和代码审查工具 Antique:公司每天合并的代码变更从 5 月约 2500 次涨到 9 月的 30000 次,平均每 2.8 秒一次。

    推荐理由:原文用合并次数和资源消耗的对比讲清了 Git 为何接不住 AI 代码,读者可据此评估自家工具链的瓶颈。

  2. AWS Machine Learning Blog62

    用 Anchor Browser 与 AgentCore payments 构建可自动付费的 AI 智能体

    AWS 官方博客介绍 Anchor Browser 与 Amazon Bedrock AgentCore payments 的集成,让 AI 智能体遇到 HTTP 402 付费墙时按 x402 协议自动完成支付并继续任务。

    推荐理由:原文把智能体支付栈从运行时移到托管基础设施的方案讲清楚,读者可据此理解 x402 机器对机器支付的落地方式。

  3. GitHub Blog · AI & ML60

    GitHub 新密钥扫描分类器:基于 ModernBERT,误报更低、速度与成本大幅优化

    GitHub 上线了基于微调 ModernBERT 分类器的新密钥扫描管线,替代原有 LLM 管线。新管线采用正则候选生成加上下文感知分类的两阶段设计,模型导出为 ONNX 并做 8-bit 量化。

    推荐理由:原文给出用小型微调编码器替代 LLM 调用的完整管线与量化结果,可迁移到其他低延迟的文本判定场景。

10月13日周二
  1. NVIDIA Blog77

    NVIDIA RTX Spark 笔记本即将上市,全球 PC 应用生态完成适配

    NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,首发覆盖数千款应用、游戏与模型,并同步推出一批面向本地 AI 智能体的软件更新。Nemotron 3.5 Bolt 74B 是专为 RTX Spark 本地智能体打造的 74B 参数 MoE 模型,以 2-bit 量化压入 24GB 显存并将完全开源,10 月 15 日发布。

    推荐理由:原文梳理了 RTX Spark 上市首日的软件生态清单,读者可据此判断本地 AI 智能体在端侧落地的成熟度。

10月12日周一
  1. NVIDIA Blog63

    NVIDIA 在 OCP Global Summit 开放 Vera Rubin 架构,助力全球 AI 工厂扩展

    NVIDIA 在 OCP Global Summit 上宣布向 OCP 贡献 Vera Rubin 机架和计算托盘设计,通过开放的 NVIDIA MGX 架构帮助系统厂商构建下一代 AI 工厂基础设施。

    推荐理由:原文把 Vera Rubin 机架设计、DSX 开源组件和多项开放标准放在一起,读者可看到 AI 工厂从单点硬件走向可复制基础设施的路径。

10月10日周六
10月8日周四