Amazon Bedrock 端到端成本管理手册:面向 FinOps 与平台团队的五阶段操作框架
AWS 官方博客发布 Amazon Bedrock 端到端成本管理手册,提出归属、可观测、执行、优化、运营五阶段闭环。核心做法是用 IAM 主体标签和 CUR 2.0 把每笔推理成本归属到具体身份,通过共享网关按用户 assume role 解决共享角色归属丢失问题,并按监控告警、IAM 拒绝策略、网关同步拦截三档执行预算。
AWS 官方博客发布 Amazon Bedrock 端到端成本管理手册,提出归属、可观测、执行、优化、运营五阶段闭环。核心做法是用 IAM 主体标签和 CUR 2.0 把每笔推理成本归属到具体身份,通过共享网关按用户 assume role 解决共享角色归属丢失问题,并按监控告警、IAM 拒绝策略、网关同步拦截三档执行预算。
AWS 官方博客介绍了 Amazon Bedrock AgentCore runtime 的 Session endpoints:为每个智能体会话生成带鉴权的 URL,将 HTTP 与 WebSocket 请求转发到会话内允许的端口,使编程智能体编辑的网页在浏览器中无需刷新即可更新。
推荐理由:原文逐步演示了如何用 Session endpoints 在浏览器中实时预览智能体构建的网页,读者可把这套带鉴权的端口转发机制迁移到自己的智能体调试流程。
ChatGPT 桌面应用现已可在 AWS GovCloud (US) 中通过 Amazon Bedrock 使用,提供 Work 与 Codex 两种组件接入 OpenAI 前沿模型。模型推理经 us-gov-west-1 的 Amazon Bedrock Mantle 端点路由,可由 IAM 和现有网络控制治理,数据留在所选区域。按 token 计费、无席位许可,并支持零数据留存(ZDR)。
Breakthrough Listen 与 SETI Institute 将智能体 AI 引入地外信号日常搜寻,智能体可经自然语言指令操控 Allen Telescope Array、校准仪器并实时处理数据流。
Google DeepMind 的 AI 规划工具 PlanAssist 将进入为期 12 个月的 Beta 阶段,并扩展至英格兰 12 个地方规划机构,参与机构总数达到 15 个。
Epsilon 用 Amazon Nova Act 与 Amazon Bedrock AgentCore Browser 将意图驱动 UI 测试做成多租户平台服务,与现有 Playwright 回归套件互补,供各产品团队经统一 API 调用。
MoEngage 用 Amazon Bedrock AgentCore Gateway 把约 400 个私有 REST API 转成权限受控的智能体工具,AI Platform 团队统一托管 MCP 层,业务团队只需维护 OpenAPI spec。
AWS Batch 推出配额管理(quota management)调度功能,管理员可按团队或项目把计算容量划分为配额份额(quota share),并自动共享闲置 GPU 容量。
OpenAI 采用分层监控机制来检测前沿模型不对齐和未经授权的 AI 智能体行为。该机制使响应人员能够在事件升级前及时介入干预。
Granite Switch 4.1.1 为补丁版本,与 4.1 完全向后兼容、无需迁移,底层基础模型保持不变。本次更新带来支持 10 种语言的 Granite Speech ASR 模型(具备原生标点与大小写),以及 在 Jev Decision Index 测试集上性能提升的 Decision adapter。
Amazon Nova Act 的 QA Studio 参考方案新增 applications 与团队用户管理两项能力,帮助其在跨团队规模化落地。applications 将用例与测试套件按应用归组,并基于 Amazon CloudWatch 指标展示通过率、执行次数、失败数及 0–100 健康分数,还能识别不稳定测试。
AWS 构建的 Ray Train DLC 是预置 EFA 网络栈的 PyTorch 分布式训练容器镜像,无需自建镜像即可在 EKS 上运行多节点训练。示例用 PyTorch FSDP 在两个 g6.12xlarge 实例的 8 张 NVIDIA L4 GPU 上微调 Qwen2.5-1.5B。
Exowatt 使用 Amazon SageMaker AI 无服务器模型定制构建可复用 AI 流水线,为边缘与云端两个部署目标产出任务专用微调模型,准确率超越前沿模型且成本最多降低 49×。该流水线基于 Qwen3-1.7B 微调用于边缘告警分诊,并基于 Qwen3-14B 微调用于云端能源市场分析。Exowatt 现在可在数天而非数月内完成从原始运行数据到微调模型的全流程。
AWS 宣布 Amazon SageMaker AI 训练和处理任务支持 Seekable OCI (SOCI) 索引,容器镜像改为懒加载,任务可在数秒内启动。
推荐理由:原文给出了镜像懒加载的实测数据和两种接入方式,读者可据此判断它能给自己的训练任务省下多少启动时间。
OpenAI 工程师借助 Codex Ultrafast 将事故调查从数小时缩短至数分钟。该工具同时加速安全分析、代码重构与日常工程工作流。
AWS 将 2023 年的边缘视觉质检 MLOps 方案更新至 SageMaker Python SDK v3,用 SageMaker Neo 替换已弃用的 Edge Manager 做边缘优化。
该文用 AWS CDK 在 Managed Amazon Bedrock Knowledge Base 上构建企业级智能体检索系统:推理智能体决定是否检索、查询哪个知识库,由 AgenticRetrieveStream API 返回带引用的答案。
Amazon SageMaker AI 的多轮强化学习(MTRL)以整个任务序列的最终成败为奖励信号,用 GRPO 更新 LoRA 适配器来训练智能体。在 Wordle 示例中,MTRL 将 GPT-OSS-20B 在预留词上的解题率从 61% 提升到 84%(低推理强度下从 15% 升至 69%),训练 token 成本约 $339。
Bayer Crop Science 基于 Amazon Bedrock AgentCore 构建了多智能体自然语言接口 Agentic Decision Engine(ADE),用于理解其 Connected Decision Engine 的 ML 工作流,首阶段约 80% 的用户问题无需工程师介入即可解决。
AWS 提供可复用的 CDK construct,用 CloudFormation 自定义资源在 SageMaker AI 端点更新前后自动注销并注册自动扩缩容,单次部署即可同时更新端点配置与扩缩容参数,无需人工干预。
OpenAI 通过可靠的多租户架构、全球缓存和 Azure Cosmos DB 扩展了 Habitat 存储系统,使 ChatGPT 读取速度提升 12×。该在线存储架构用于支撑超过 10 亿 ChatGPT 用户。
Hugging Face 推出 torch-neuronx model support Space,可查询 Hub 上热门模型能否不修改即在 AWS Trainium 上运行,并提供可复现的运行脚本。
NVIDIA CEO 黄仁勋访问哈萨克斯坦,推动当地 AI 算力建设。Firebird 签署协议引入 45,000 块 NVIDIA Grace Blackwell GPU,预计 2027 年第三季度商用,规划容量约 500 兆瓦。NVIDIA 宣布投资 Higgsfield AI,Kazakhtelecom 明年将部署超 1,000 块 NVIDIA Vera Rubin GPU。
Amazon SageMaker AI 的 serverless 模型定制推出 training session APIs,把 forward_backward()、optim_step()、sample() 等 GPU 操作封装为 API 调用,模型常驻托管 GPU,服务负责分布式执行、梯度同步、容错与检查点,训练循环由用户在本地 Python 进程中编写。
推荐理由:原文把新 API 与 SageMaker 现有模型定制方案逐项对比,并给出可迁移的 GRPO 训练循环写法,读者可套用自己的奖励函数。
AWS 宣布 Amazon SageMaker AI 无服务器模型定制的训练会话正式可用,用户自己编写并协调后训练循环(含自定义损失函数和奖励信号),由 SageMaker AI 负责 GPU 分配、分布式执行、故障恢复与检查点存储。
同一新闻,精选展示《使用 Amazon SageMaker training session APIs 编写自定义训练循环,无需管理 GPU》
Rescale 用 AWS 的 AI-DLC 框架构建 AI 测试分诊智能体,5 天内完成从问题定义到预发布部署,数周内进入生产。该智能体运行在 Amazon EKS 的 Argo Workflows 流水线中,调用 Amazon Bedrock 上的 Claude Opus 4.8,将夜间 Playwright 测试失败分类为基础设施问题、代码缺陷、不稳定测试或环境问题。
该方案将 82M 参数的 TTS 模型 Kokoro-82M 以自定义容器部署到 Amazon SageMaker AI 实时端点,用实测数据替代猜测的自动扩缩容目标。
NVIDIA 发布 AIOps 平台 Minerva,为 AI 工厂提供端到端可观测性。该平台汇聚基础设施与 AI 工作负载的遥测数据,构建动态知识图谱,每小时分析数十亿数据点以检测异常、预测故障并定位根因。
OpenAI 阐释了 Forward Deployed Engineering(FDE)的含义,说明这一概念在 OpenAI 的具体所指。
NVIDIA 开放模型正支撑欧洲多国公共部门项目,让政府在受控基础设施上运行 AI 并保留数据主权。
欧洲多家机构正部署 NVIDIA Earth-2 开放模型,将 AI 天气预测用于气旋风险、空气质量与太阳能发电等实际场景。最新加入 Earth-2 的 StormScope EU 是面向欧洲的短期预报模型,基于 EUMETSAT 卫星观测在 16 个 Meteosat 通道上以 10 分钟间隔预测云况演变。
欧洲零售商正借助 NVIDIA 加速的开源模型与物理 AI,升级从数字发现到实体运营的各个环节。Shopify 后训练的 Nemotron 3.5 Lightning 以 90% 的成本降幅和 7 倍的响应速度超越前沿模型。L'Oréal 与 Otto Group 等企业也利用 Omniverse 等技术加速研发与仓储模拟。
全球企业正采用 NVIDIA DSX AI 工厂平台,将电网与 AI 工厂作为统一系统规划和运行,以打破电力瓶颈。该平台通过 DSX Sim、DSX Flex 等组件实现联合仿真与需求同步,优化跨系统能耗。GE Vernova、Hitachi Energy 等合作伙伴正推进相关电力与散热方案,Phaidra 借此在同一电力包络内提升约 10% 算力。
NVIDIA 扩展 Cosmos 平台,新增训练工具、仿真检查点和 Cosmos Data Factory 蓝图,帮助物理 AI 开发者构建、评估和部署世界模型。
推荐理由:原文把数据、训练到部署各环节的工具与落地案例写得较具体,读者可据此评估其中哪些方法能迁移到自己的世界模型开发流程。
在 GTC Berlin 上,欧洲多家银行与支付公司正基于 NVIDIA 加速计算与开放权重模型,在自有基础设施上构建专有智能。Revolut 的基础模型 PRAGMA 已投产并服务 8000 万初始客户,规划扩展 3 倍;bunq 的智能助手 Finn 部署于 Nebius,单次回答成本仅为领先闭源模型的 60%。
AWS Solutions Architecture 团队构建并开源了生产级多智能体系统 Deep Insight,用户上传 CSV 并输入自然语言后,由八个分工智能体协作完成数据分析、图表生成、计算校验,最终输出带引用的 DOCX 报告。
推荐理由:原文给出多智能体系统从架构到生产部署的完整设计,读者可把分层编排和按角色选模型的思路迁移到自己的系统。
演示如何借助 AWS PrivateLink 支持的 VPC endpoints 与 VPC connections 将本地数据源私密接入 Amazon Quick,流量全程不经公网。
AWS 机器学习博客介绍自适应智能体框架 AAIF:以 llama3.2:1b 作为本地编排器,常规请求交给 Ollama 运行的本地小模型,复杂请求才路由到 Amazon Bedrock 云端模型,以降低 API 成本并保持低延迟。
AWS 演示在单台 trn2.48xlarge 实例(16 个 Trainium2 加速器、64 个逻辑 NeuronCore)上用 torchtitan 以三种方式训练 Qwen3。
Hugging Face 预览 VocabX 论文成果:围绕 token 成本而非频率专精词表,可在不改变基座模型的情况下将真实应用中的推理成本削减 77%。在基于 Qwen3-4B 的葡萄牙语作文自动批改系统中,该方法将输出层词表从约 152,000 行缩减至约 65,000 行,有效降低了内存带宽受限的解码开销。