用分布式 KV 缓存智能体技能降低自托管 LLM 成本与延迟
Agent Toolkit for AWS 的分布式 KV 缓存技能可让用户在 Kiro、Claude Code、OpenAI Codex 等编程智能体中,通过几轮提示词完成分布式 KV 缓存的评估与配置。
Agent Toolkit for AWS 的分布式 KV 缓存技能可让用户在 Kiro、Claude Code、OpenAI Codex 等编程智能体中,通过几轮提示词完成分布式 KV 缓存的评估与配置。
AWS 为 Amazon SageMaker HyperPod Slurm 推出托管集群扩展,首批含可观测性与用户管理(含目录集成),通过 API 或控制台统一管理。扩展配置提交时即经 schema 校验,自动应用到全部节点并保持一致,并报告自身状态与各节点健康。此前 HyperPod 已将声明式管理覆盖集群定义、节点设置、容量、网络拓扑与硬件健康五层配置。
AWS 在 SageMaker HyperPod 推出 Global Inference Gateway,用一个 SageMaker 托管端点把推理请求路由到已注册的多个集群,支持同 Region 或跨 Region。
推荐理由:原文给出了四信号加权路由与自动故障转移的实现细节,读者可据此评估多 Region 推理部署的改造方案。
Hugging Face 与 Thinking Machines Lab 联合发布 Inkling 2 Mini,一款面向本地部署的多模态 MoE 模型,物理参数约 26B、每 token 激活 3B,支持 1M token 上下文。
推荐理由:原文详解了循环层与跨轮消息机制如何让 24 个物理层达到 48 层逻辑效果,可迁移到其他端侧模型设计。
Standard Bank Group 与 AWS Professional Services 合作部署自动化评估,按国际 AI 标准和银行内部政策为每个生成式 AI 用例打分,并输出报告与仪表盘。
Amazon SageMaker Inference 2026 年第二批发布回顾,全年累计达 26 项,聚焦模型投产后如何选配置、提升 GPU 利用率与跨 Region 调度。
OpenAI 分享 Daybreak Red 受监督安全调查的参考架构。该架构涵盖安全控制、设置与监控,为安全部署 Daybreak Red 提供指引。
AWS 为 Amazon Bedrock AgentCore payments 新增 AWS Billing 支付方式,AI 智能体可按请求购买 AWS Marketplace 上支持 x402 的软件、API、数据与内容,费用以 USD 结算到开发者 AWS 账单,无需稳定币钱包或 API key。
推荐理由:原文给出智能体按请求付费的完整链路与单会话限额机制,读者可据此评估 agentic commerce 在企业内的落地方式。
BMW Group 研发部门分享了在 12,500 余名开发者中规模化构建、治理和运营数百个 Agent 的五条工程实践。核心是 MCP 工具、技能与流程三层组合架构,按步骤而非按 Agent 分配 L0 到 L2 自治等级,并在 CI/CD 流水线中以确定性代码强制执行权限检查、策略合规与基于 ground-truth 数据集的评估门禁。
Amazon SageMaker AI 的推理推荐功能现在默认监控生成式 AI 推理端点,自动发现延迟漂移、GPU 闲置和未启用的优化。监控仅读取延迟、GPU 利用率等运行信号,不读取请求或响应内容;发现结果通过 AWS Health 推送,可在 SageMaker Studio 的智能体体验中对备选配置做并行基准比对,基准在独立算力上运行,确认后才生效。
AWS 将 Amazon Bedrock AgentCore harness 升级为以开源 Strands harness(Apache 2.0 许可)为默认基础,并新增生命周期钩子。
推荐理由:原文给出托管默认值与生命周期钩子的具体配置方式,读者可据此为已有智能体添加确定性的审批与通知流程。
NVIDIA 与 Microsoft 在 Microsoft Ignite 上宣布扩展全栈合作:Azure 提供 NVIDIA Vera Rubin NVL72 虚拟机,并通过 Microsoft Foundry 扩大 NVIDIA Nemotron 开放模型的企业定制与部署。
PolyAI 实时对话推理模型 Dialog-RSN-1 现已上线 AWS Marketplace 与 Amazon SageMaker JumpStart,支持一键部署至自有 AWS 环境。
将 Skyflow Detect 作为请求与响应拦截器接入 Amazon Bedrock AgentCore Gateway,可在敏感数据到达工具前完成脱敏、在智能体读取结果前还原,并替换出脱敏后的文档副本,全程无需改动智能体与工具代码。
AWS 为 Amazon SageMaker AI 推出跨区域推理路由,应用调用一个 inference router 即可访问多个 Region 和 AWS 账户下已运行的端点;本地目标健康时流量留在本 Region,目标无法可靠服务时新请求自动转移到其他已注册目标,恢复后再逐步回迁。
推荐理由:原文把健康度评分、故障转移和回迁策略讲得较细,读者可判断能否用它替换自建的跨区域路由代码。
Cisco 与 AWS 通过游戏化竞赛 AWS AI League,在 Cisco Transformation Fest 4.0 上组织 1,200 名工程师开展智能体 AI 实战训练。
OpenAI 构建了 Performance Factory——一套由 Codex 驱动的工作流系统,用于发现并修复性能问题。该系统帮助 ChatGPT 保持快速运行。
AWS 宣布 Amazon SageMaker HyperPod 推出增强基础设施可观测性,帮助更快定位 GPU 训练问题,同时覆盖 EKS 和 Slurm 两种编排集群。
AWS 与 NVIDIA 作者实测验证,可在 Amazon EKS 上用 NVIDIA Run:ai GPU Fractioning 让两个 Pod 共享一块 NVIDIA A10G GPU,每个 Pod 在 8 GiB 内存合约下成功分配 6 GiB,9 GiB 超额分配则按预期失败。
Amazon SageMaker AI Serverless Model Customization 现已支持 Full Fine-Tuning(FFT),无需 GPU 预置或集群配置即可全参数微调模型。
Exa 将嵌入基础设施迁移至 AWS Neuron 硬件(AWS Inferentia2 与 AWS Trainium2),实现约 50% 的吞吐量提升。通过权重布局优化、autocast、NKI 内核与自定义融合 SwiGLU MLP 内核,该方案在保持 0.999 余弦相似度的同时消除了内存瓶颈。此次升级支持对 300 亿份高优先级文档的重新嵌入,以优化其语义搜索网络索引。
AWS 为 Amazon SageMaker HyperPod 推出三项新能力,用于更早发现分布式训练故障并提升集群 goodput。
该文将 AWS 负责任 AI(RAI)的八个维度映射到 Amazon Aurora PostgreSQL-Compatible Edition 的各项能力,并以基于 RAG 的客服聊天机器人为参照用例,深入设计其中的可解释性(Explainability)维度。
Airbnb 分享了如何用单任务成本(cost per task)在 Amazon Bedrock 上评估并运营内部编码智能体 AirChat。发布前对每个模型和推理强度跑自建任务评测,同时记录分数与单任务成本;发布后用 CloudWatch 的延迟、限流和 token 指标对照评测结果排查问题。
推荐理由:原文给出了一套把评测分数和单任务成本结合起来选模型、再用生产数据回检的完整方法,可直接迁移到自己的编码智能体运维。
Amazon Bedrock AgentCore Identity 现已支持私有身份提供商的私有 CA 证书,让智能体信任组织自建 IdP(如 Keycloak)已在使用的私有证书颁发机构。
AWS 在 SageMaker Studio 中推出 JumpStart 模型排行榜,可横向比较 70 多个开放权重模型的质量、速度和成本,模型来自 Meta、Google、Qwen、IBM 和 Arcee 等提供商。
推荐理由:原文说明排行榜如何用统一方法测量质量、速度与成本,读者可据此建立从筛选到部署的选型流程,不必再拼接不同来源的数据。
OpenAI 阐述了从训练到部署管理前沿 AI 风险的完整方法,涵盖模型对齐、沙盒、拦截性防护措施与监控四个环节。这些机制覆盖模型生命周期的不同阶段,使风险在训练期与部署后都受到管控。
Social Department 构建了运行于 Amazon Bedrock 的 QuickSearch 系统,通过 Shareable Scenes、Quotable Quotes、Memeable Moments 和 Trend Align 四个一键操作,直接返回营销人员难以用文字描述的视频片段。
OpenAI 发文解析 Codex 沙箱的运行机制。Codex 在 macOS、Linux 和 Windows 上执行命令时,会执行用户设定的文件系统和网络限制,使本地命令执行处于用户可控的边界内。
Stretto 联合 AWS 生成式 AI 创新中心与 CI&T,基于 Amazon Bedrock 的语音到语音模型 Amazon Nova 2 Sonic 构建 AI 语音智能体 Tara,以电话自动完成破产咨询的多阶段信息采集。
Amazon Bedrock AgentCore Gateway 可在 hub-and-spoke 网络中连接私有 API 与 MCP 服务器,同时让双向流量都经过检查 VPC 的中央防火墙。
Hugging Face 基于 272 个生产环境 SFT 任务(约 7,382 GPU 小时、NVIDIA H200)发现,常用 FLOP 预估与实际耗时偏差很大(R² = 0.31,MAE 12.41 h),而仅用派发前配置信息训练的 CatBoost 回归器达到 R² = 0.98、MAE 1.71 h、中位误差 0.51 h。
IBM 时间序列基础模型(累计下载量超 5000 万)现原生集成至 Confluent,云端与本地均可仅凭 CPU 运行、无需 GPU。团队可通过 Apache Flink 用 SQL 对流式数据执行预测、异常检测与语义智能,并把结果直接交给负责后续动作的应用与人员。模型可服务于制造、零售、银行、航空等关键场景,如提前 4 小时预测生产线合格率、评估卡支付信号与预测交易量。
NVIDIA 宣布来自 ASUS、Dell 和 MSI 的 RTX Spark 紧凑型桌面主机现已上市,为本地 AI 智能体、图像与视频生成及模型微调提供专用 Windows PC。
推荐理由:原文列出了硬件规格、本地模型规模上限和软件生态适配,读者可据此判断它能否承接现有本地 AI 工作流。
Amazon SageMaker HyperPod Inference 现支持 NVIDIA Dynamo,将后者的多节点部署、prefill/decode 分离与 KV-aware 路由能力接入 HyperPod 的基础设施管理。
AWS 与 Flightscape 分享三种可组合的优化策略,让处理 20 MB+ JSON 负载的生产级智能体显著降低 token 成本与延迟。三种策略分别是把重型工件卸载到 Amazon S3 并只持久化内容寻址引用、对超大列表结果按需分页、用结构描述符压缩超大字典输出。
推荐理由:三种可组合策略把大 JSON 负载移出模型上下文并附完整代码,处理类似负载的智能体团队可直接迁移复用。
Amazon SageMaker AI 为实时端点推出 KV cache 感知路由(RoutingStrategy 设为 KV_AWARE),依据模型容器上报的缓存状态,把请求发给持有最长缓存匹配且不繁忙的实例。
AWS 官方博客提出,生成式 AI 工作流最大的成本杠杆是先判断每个步骤是否需要调用模型:能用规则校验的步骤交给确定性代码,固定选项的决策用受限决策调用并设置升级信号,只有开放式任务才交给规格合适的 Amazon Bedrock 模型。
推荐理由:原文提供了一套可迁移的步骤级决策框架,读者可对照自己的工作流找出不必调用模型的环节以降低成本与延迟。
Amazon Bedrock AgentCore Identity 实测支持三种 OAuth 配置,用于 AI agent 调用 Snowflake 管理 MCP server 时的出站认证。
AWS Agent Registry 现已支持自定义元数据 schema,管理员可定义字段名、类型、允许值和必填项,注册表对每条记录强制校验。记录缺必填字段或值非法会被 ValidationException 拒绝,未填元数据的记录保存为 NON_COMPLIANT 且不能提交审批。