用分布式 KV 缓存智能体技能降低自托管 LLM 成本与延迟
Agent Toolkit for AWS 的分布式 KV 缓存技能可让用户在 Kiro、Claude Code、OpenAI Codex 等编程智能体中,通过几轮提示词完成分布式 KV 缓存的评估与配置。
Agent Toolkit for AWS 的分布式 KV 缓存技能可让用户在 Kiro、Claude Code、OpenAI Codex 等编程智能体中,通过几轮提示词完成分布式 KV 缓存的评估与配置。
Standard Bank Group 与 AWS Professional Services 合作部署自动化评估,按国际 AI 标准和银行内部政策为每个生成式 AI 用例打分,并输出报告与仪表盘。
OpenAI 分享 Daybreak Red 受监督安全调查的参考架构。该架构涵盖安全控制、设置与监控,为安全部署 Daybreak Red 提供指引。
OpenAI 分享了 Daybreak Blue 的入门操作演示,展示其设置体验与快速上手流程。该演示详细介绍了如何完成初始配置并开始使用 Daybreak Blue。
演示视频展示了 PR 扫描的实际使用过程,讲解者在 pull request 工作流中查看并审查扫描结果。
OpenAI 分享了 Codex Security Plugin 的演示视频,完整展示从开始使用到审查结果的工作流。用户可跟随录像了解该插件的实际操作流程。
BMW Group 研发部门分享了在 12,500 余名开发者中规模化构建、治理和运营数百个 Agent 的五条工程实践。核心是 MCP 工具、技能与流程三层组合架构,按步骤而非按 Agent 分配 L0 到 L2 自治等级,并在 CI/CD 流水线中以确定性代码强制执行权限检查、策略合规与基于 ground-truth 数据集的评估门禁。
将 Skyflow Detect 作为请求与响应拦截器接入 Amazon Bedrock AgentCore Gateway,可在敏感数据到达工具前完成脱敏、在智能体读取结果前还原,并替换出脱敏后的文档副本,全程无需改动智能体与工具代码。
Cisco 与 AWS 通过游戏化竞赛 AWS AI League,在 Cisco Transformation Fest 4.0 上组织 1,200 名工程师开展智能体 AI 实战训练。
OpenAI 构建了 Performance Factory——一套由 Codex 驱动的工作流系统,用于发现并修复性能问题。该系统帮助 ChatGPT 保持快速运行。
AWS 与 NVIDIA 作者实测验证,可在 Amazon EKS 上用 NVIDIA Run:ai GPU Fractioning 让两个 Pod 共享一块 NVIDIA A10G GPU,每个 Pod 在 8 GiB 内存合约下成功分配 6 GiB,9 GiB 超额分配则按预期失败。
Amazon SageMaker AI Serverless Model Customization 现已支持 Full Fine-Tuning(FFT),无需 GPU 预置或集群配置即可全参数微调模型。
Exa 将嵌入基础设施迁移至 AWS Neuron 硬件(AWS Inferentia2 与 AWS Trainium2),实现约 50% 的吞吐量提升。通过权重布局优化、autocast、NKI 内核与自定义融合 SwiGLU MLP 内核,该方案在保持 0.999 余弦相似度的同时消除了内存瓶颈。此次升级支持对 300 亿份高优先级文档的重新嵌入,以优化其语义搜索网络索引。
该文将 AWS 负责任 AI(RAI)的八个维度映射到 Amazon Aurora PostgreSQL-Compatible Edition 的各项能力,并以基于 RAG 的客服聊天机器人为参照用例,深入设计其中的可解释性(Explainability)维度。
Airbnb 分享了如何用单任务成本(cost per task)在 Amazon Bedrock 上评估并运营内部编码智能体 AirChat。发布前对每个模型和推理强度跑自建任务评测,同时记录分数与单任务成本;发布后用 CloudWatch 的延迟、限流和 token 指标对照评测结果排查问题。
推荐理由:原文给出了一套把评测分数和单任务成本结合起来选模型、再用生产数据回检的完整方法,可直接迁移到自己的编码智能体运维。
Amazon Bedrock AgentCore Identity 现已支持私有身份提供商的私有 CA 证书,让智能体信任组织自建 IdP(如 Keycloak)已在使用的私有证书颁发机构。
Social Department 构建了运行于 Amazon Bedrock 的 QuickSearch 系统,通过 Shareable Scenes、Quotable Quotes、Memeable Moments 和 Trend Align 四个一键操作,直接返回营销人员难以用文字描述的视频片段。
OpenAI 发文解析 Codex 沙箱的运行机制。Codex 在 macOS、Linux 和 Windows 上执行命令时,会执行用户设定的文件系统和网络限制,使本地命令执行处于用户可控的边界内。
Stretto 联合 AWS 生成式 AI 创新中心与 CI&T,基于 Amazon Bedrock 的语音到语音模型 Amazon Nova 2 Sonic 构建 AI 语音智能体 Tara,以电话自动完成破产咨询的多阶段信息采集。
Amazon Bedrock AgentCore Gateway 可在 hub-and-spoke 网络中连接私有 API 与 MCP 服务器,同时让双向流量都经过检查 VPC 的中央防火墙。
AWS 与 Flightscape 分享三种可组合的优化策略,让处理 20 MB+ JSON 负载的生产级智能体显著降低 token 成本与延迟。三种策略分别是把重型工件卸载到 Amazon S3 并只持久化内容寻址引用、对超大列表结果按需分页、用结构描述符压缩超大字典输出。
推荐理由:三种可组合策略把大 JSON 负载移出模型上下文并附完整代码,处理类似负载的智能体团队可直接迁移复用。
AWS 官方博客提出,生成式 AI 工作流最大的成本杠杆是先判断每个步骤是否需要调用模型:能用规则校验的步骤交给确定性代码,固定选项的决策用受限决策调用并设置升级信号,只有开放式任务才交给规格合适的 Amazon Bedrock 模型。
推荐理由:原文提供了一套可迁移的步骤级决策框架,读者可对照自己的工作流找出不必调用模型的环节以降低成本与延迟。
Amazon Bedrock AgentCore Identity 实测支持三种 OAuth 配置,用于 AI agent 调用 Snowflake 管理 MCP server 时的出站认证。
AWS 开源 SMART(Social Messaging Agent Runtime Toolkit),一个 Python SDK 加 Terraform 栈。
推荐理由:原文逐项列出 WhatsApp 渠道集成的难点并给出开源 SDK 的对应解法,读者可据此判断是否引入 SMART 压缩集成工期。
AWS 提出面向智能体 AI 平台的三阶段负责任 AI 成熟度框架,应对运行时行为不可预测、数据暴露、监管加速与团队协作缺失四大挑战。框架把 AWS Responsible AI Lens 支柱映射到治理基础、试点部署、评估与强化三个阶段,配套 Responsible AI Assessment Skill、评分卡和 12 周实施时间线。
LoanPro 联合 AWS 合作伙伴 AllCloud,基于 Amazon Bedrock AgentCore 构建多智能体 AI 贷款服务助手,据案例研究客服通话时长最多缩短 15%。
ArisGlobal 把 Amazon Bedrock 请求顺序改为先发送共享提示词前缀并在其后设置缓存检查点,使 65% 的输入 token 命中缓存。其 NavaX 智能体的共享前缀在 6 个月内从约 72,000 增至 180,000 token,单案推理成本曾上涨超过 200%。
AWS 官方博客演示在 AgenticRetrieveStream 请求中加入 memoryConfiguration,让 Managed Knowledge Base 与 AgentCore memory 接管会话存储、长期事实提取与检索,应用不再需要自建会话表或重放历史。
AWS 解决方案架构师系统梳理多智能体设计模式,将协调模式分为路径预定义的 Tier 1 与模型运行时选路的 Tier 2,并给出从单次模型调用到自治多智能体的选型决策树。
推荐理由:文章将多智能体协调模式分为确定性控制流与模型自治两层,并给出选型决策树与五个反模式,可直接迁移到自己的架构选型。
Duco 将其智能体 AI 技术栈迁移至 Amazon Bedrock 与 Amazon Bedrock AgentCore,为 200+ 客户(每月处理 20 billion 笔交易)提供金融服务自动化,对账部署速度提升 10 倍,某全球银行入职成本降低 70%、直通处理率提升逾 20%。
MoEngage 基于 Amazon Bedrock AgentCore,并使用 Amazon Bedrock 上的 Claude Sonnet 4.6、Claude Sonnet 5 和 Claude Sonnet 5.5,构建了包含嵌入式、对话式、自定义和决策四类智能体的 Merlin AI。
Novo Nordisk 制药技术团队基于 Amazon Bedrock AgentCore 构建了 agentic AI 制造工艺文档智能支持系统,将原本需要数小时或数天完成的工作缩短至数分钟。
AWS 提出五阶段方法论,用 Amazon Bedrock、Kiro IDE 和 AWS Transform 将大型机 Assembler 程序经中间 COBOL 阶段转换为 Java Spring Boot 服务。
Amazon Bedrock 的开放权重模型现已支持显式提示词缓存,用户可在 Chat Completions API 中用 prompt_cache_options 与 prompt_cache_breakpoint 标记可复用前缀,重复上下文直接从缓存读取,从而降低输入成本与响应延迟。
AWS 官方博客讲解如何用 Amazon Bedrock 托管知识库的检索指令为每个租户定制答案。检索指令包含 persona、answerFormat、retrievalGuidance、answerPolicy 四个字段,作为托管且版本化的资源被各请求引用,可固定版本并逐租户灰度发布与回滚。
AWS 官方博客系统总结了 Amazon Bedrock Guardrails 中 Denied Topics 的八条编写最佳实践,指出误拦多源于按主题域而非用户意图组织话题。
推荐理由:文章把误拦问题归因到四种常见写法并给出八条可迁移的编写规范,读者可直接对照自查自家护栏的拒拦边界。
GS Caltex 打通了 Amazon SageMaker Canvas 与 SageMaker Pipelines 的生产 MLOps 流程,ML 工程师部署模型从约一周缩短到几小时。
Amazon Bedrock AgentCore runtime 的 V2 版本通过预先构建环境快照并按会话恢复,使会话启动更快更稳定。每个会话在独立隔离的 microVM 中运行,平台空闲时缩容至零,V2 还会回收会话未使用的内存以降低成本。文章给出四种加速启动的架构模式,包括用新增的 build hooks 预加载大文件,以及在用户发起请求前预热会话。
AWS 官方博客演示如何用 AWS CDK 将 LiteLLM 与 NVIDIA NeMo Switchyard 路由插件部署到自己的 AWS 账号,把编码智能体的请求在 Amazon Bedrock 上的 Claude Opus 5.5 与 NVIDIA Nemotron 3 Super 120B 之间路由。
OpenFold3-preview 现可通过 Amazon SageMaker JumpStart 部署到自有 AWS 账户。该模型由 OpenFold Consortium 与哥伦比亚大学 AlQuraishi Lab 以 Apache 2.0 开源,可一次预测蛋白、DNA、RNA 与小分子配体复合物的三维结构。端点采用异步推理,支持网络隔离、多 GPU 并行与空闲时缩容至零。