TorchNeuron 性能分析(第一部分):AWS Trainium 上的系统级分析
TorchNeuron 是 AWS Trainium 的开源原生 PyTorch 后端,本篇教程讲解如何用 torch.profiler 与 Neuron Explorer 对推理性能做系统级分析。
TorchNeuron 是 AWS Trainium 的开源原生 PyTorch 后端,本篇教程讲解如何用 torch.profiler 与 Neuron Explorer 对推理性能做系统级分析。
OpenAI 搭建了由 LLM 驱动的 ChatGPT 广告技术栈,用以理解用户对话意图。该系统将广告与模型回答保持分离,并支持大规模投放相关广告。
OpenAI 与 Google Cloud 合作,将前沿模型和 Codex 工作流引入 Gemini 的 Model Garden,用户可通过 Google Cloud Marketplace 获取。
推荐理由:原文给出 OpenAI 模型进入 Google Cloud 的具体入口与范围,读者可据此判断云端获取 OpenAI 能力的渠道变化。
欧洲工业巨头正将 NVIDIA CUDA-X、Omniverse 库及 Cosmos、Nemotron 开源模型引入工程与制造全生命周期。NVIDIA Factory Operations Blueprint(FOX)现已在 GitHub 开放早期访问,用于构建实时监控工厂运营、协调机器与产线的工业智能体。
NVIDIA 云合作伙伴正在欧洲、北欧、非洲和中亚扩展区域算力,支持模型训练、推理及智能体与物理 AI 应用。Nscale 借助 NVIDIA DSX 平台,在相同功耗预算内容纳 37% 更多 GPU,聚合推理吞吐量提升近 50%。
Google Cloud 与 NVIDIA 宣布基于 NVIDIA Vera Rubin 的 A5X 实例将于下月正式可用,并计划将可用范围扩展至欧洲。
NVIDIA 在 GTC Berlin 发布本地 AI 硬件产品线更新,覆盖 RTX Spark、DGX Spark 与 DGX Station。DGX Spark 64GB 于 10 月 23 日上市,NVIDIA Sync 本月支持最多八机集群并新增 Model Launcher;DGX Station 新增七项企业管理集成,Windows 版预计 12 月推出。
推荐理由:原文把三条本地 AI 硬件线的能力边界、集群上限和开放入口讲清楚,读者可据此判断哪一档设备匹配自己的工作流。
Mistral 与 NVIDIA 合作,将 Mistral Large 4 与数据生成、物理建模管线结合 NVIDIA CUDA-X 与 NVIDIA Warp,加速工程仿真并打通仿真、模型开发与工程设计的闭环流程。
NVIDIA 创始人兼 CEO 黄仁勋在 GTC Berlin 2026 发表主题演讲,发布 DSX POD 参考设计,将现场部署从六个月缩短至 14 天,并推出面向智能体安全的 OpenShell 参考架构与 Agent Knowledge Foundation。
推荐理由:原文把 AI 工厂、智能体安全与开放模型串成一条可落地的技术路径,读者可据此对照自身基础设施规划。
i14 与 AWS 合作,通过 TorchNeuron Native 的原生 PyTorch 后端将 Laplace 3B 线性注意力模型移植到 AWS Trainium2,其 GLA 循环状态固定为每序列 29.5 MB,不随上下文长度增长。
Octave Reliance 在 Amazon Bedrock 上构建了三层安全多租户 AI 基础架构,将每个用例的部署时间缩短 50%。
AWS 在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B,解决其链式思考默认用英语、50 例多语言测试中仅 22% 使用目标语言的问题。
Amazon Quick 与 Amazon Bedrock AgentCore 的对话式供应链方案让团队用自然语言跨 ERP、监控、采购等系统直接获得可执行答案。
Smartsheet 正式发布全面可用的 MCP Server,AI 助手可通过标准化协议读写并管理 Smartsheet 数据,覆盖 40 多种工具,支持用自然语言更新任务状态、创建行与修改项目结构。
Smartsheet 正式推出全面可用的 MCP Server,使 AI 助手能通过标准化协议读取、写入和管理 Smartsheet 数据。该服务器提供超过 40 种工具,支持用自然语言更新任务状态、创建行和修改项目结构。文章还演示了如何将 Amazon Quick 和 Kiro 作为 MCP 客户端接入现有工作流。
AWS 官方博客演示了用 AWS Agent Registry 让编排器在运行时通过混合语义与关键词搜索发现已批准的 MCP 服务器和 A2A 智能体,替代硬编码工具接入。
推荐理由:原文给出运行时发现替代硬编码工具的参考实现,读者可据此评估自家 Agent 目录的治理与认证拆分方式。
加拿大用户现在可通过 Amazon Bedrock 跨区域推理,从 Canada (Central) 和 Canada West (Calgary) 区域调用 OpenAI GPT-5.6、GPT-6 和 GPT-6.1 模型,推理在北美处理。
Hugging Face 宣布 TorchTPU 为 PyTorch 增加原生 TPU 后端,Transformers、Diffusers 和 Kernels 无需 torch_xla 或 Optimum TPU 即可在 TPU 上运行,加载 Hub 模型只需设置 device_map 为 tpu。
推荐理由:原文对比了 torch_xla 旧方案并给出 device_map=tpu 等迁移细节,读者可评估现有 PyTorch 代码上 TPU 的改造成本。
教程演示用 AtScale 在 AWS 上为 Agentic AI 构建语义层,由 Amazon Bedrock AgentCore 托管 Strands agent 处理 Customer 360 场景。
Strategy Mosaic 作为维度化语义层,使 Amazon Bedrock AgentCore 上托管的 Strands 智能体可经 MCP 端点查询跨 Amazon Redshift 与 Amazon Aurora 的 Customer 360 数据。
Eon 基于 Amazon Bedrock AgentCore Gateway 搭建统一 MCP 网关,以单一认证入口替代逐工具凭证和本地 MCP 服务器,让开发者和自主智能体跨 AWS、GCP、Azure 统一访问调查工具。新工程师接入全部调查工具的时间从约 2 天缩短到约 2 分钟。该方案通过 Cedar 策略实现最小权限访问,生产工具仅限只读。
Hugging Face 发布 AnyLanguageModel 1.0,同时带来 swift-huggingface 1.0 与 swift-xet 1.0。
推荐理由:原文给出了同一套会话代码在本地与托管模型间切换的具体方式,Apple 平台开发者可据此评估迁移成本。
Hugging Face 的 PyTorch 团队发布 PyTorch 2.15 的 MPS 后端更新,为 Apple silicon Mac 带来 FP8 支持、更快的 LLM 解码和更多 Metal 内核。
推荐理由:原文逐项列出 FP8、MoE 解码和内存占用的具体数字,读者可直接对照自己的 Mac 工作流评估升级收益。
AWS 宣布新 Amazon SageMaker AI 客户可用 Google、GitHub、Apple、Amazon 账号或邮箱在 2–3 步内注册,约 20 秒后进入预配置的 SageMaker Studio 环境,多数客户无需信用卡。
推荐理由:原文列出了注册入口、免费额度和预配置权限的具体变化,读者可据此判断新流程如何缩短从选模型到部署的时间。
2026 年 1 月至 9 月,Amazon SageMaker JumpStart 新增接入来自 30 家提供商的 100 多个模型,大幅扩展其基础模型目录。
Hugging Face 宣布 TorchNeuron 将于 2026 年 10 月 20 日进入公开测试,可通过 pip install torch-neuronx 安装。
推荐理由:相比 Optimum Neuron 的编译器式用法,TorchNeuron 把 Trainium 变成原生 PyTorch 设备,现有 HF 脚本几乎不用改即可迁移。
AWS 在 vLLM 中实现双向 KV transfer,让 prefill 与 decode 节点跨对话轮次复用已计算的上下文,降低多轮智能体工作负载的 TTFT。
AWS 为 vLLM 贡献了推送式 NIXL connector,将 prefill 后的 KV 传输协调与准备工作移出关键路径,从而降低分离式推理的 TTFT 与 TPOT。
Deepgram 与 AWS FDE 团队合作,将 Nova-3 语音转文字模型移植到 AWS Trainium2,在单个 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,离线批处理工作负载每美元可多处理 11–70% 的音频。
NVIDIA 与欧洲广播联盟(EBU)扩大主权智能体框架合作,引入主权云、Nemotron 开放模型与系统集成商,让广播机构在掌控数据与安全的前提下部署 AI 智能体。Adobe Frame.io 借助 NVIDIA GPU 加速视频搜索,实现约 5 倍更快的嵌入向量生成、最高 4 倍吞吐量提升与最高 5 倍延迟降低。
Itaú 正借助对话式界面 ia.i 与 IARA 治理平台,在巴西监管最严格的行业之一落地其 AI First 战略,将生成式 AI 应用扩展至全体客户与员工。
AWS SMGS 运营团队基于 Amazon Bedrock AgentCore Evaluations 为其服务全球销售团队的多智能体系统搭建了九阶段生产级评估框架,覆盖从首次提交到生产运行的全生命周期。
推荐理由:原文给出可迁移的九阶段智能体评估框架与六类失败分类法,读者可据此在生产环境中建立持续质量闭环。
Localiza 正在围绕生成式 AI 重组工作方式。公司借助 ChatGPT Enterprise、OpenAI API、Codex 及 60 余个专用智能体,构建 AI 原生的出行体验。
IBM Granite 团队发布 Granite-Switch-4.1-8B 与 -30B,将通用 Decision aLoRA、安全决策 Guardian aLoRA 和 OpenASR 榜单上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC 组合进一个托管端点。
推荐理由:原文给出用 aLoRA 复用 KV cache 在单一端点组合多种能力的做法,读者可迁移到低显存多能力部署场景。
Meta 面向编程优化的开源权重模型 Muse Spark Open 现已上线 Amazon SageMaker JumpStart,可几步部署到用户自己 AWS 账户的 SageMaker AI endpoint。
Mistral AI 发布 Timestral,其首个时间序列基础模型家族,最大 209M 参数版本在 GIFT-Eval、TIME 和 fev-bench 三大公开基准上排名第一。
SentinelOne 借助 OpenAI Daybreak 将恶意软件分析周期从数周缩短至数小时。分析提速释放了安全团队的调查容量,使其能够追查更多威胁。
用 Amazon Bedrock AgentCore 可搭建智能体式文档处理系统:智能体自动分类、抽取、校验业务文档并从纠正中学习,无需为每种版式手动配置模板。
Third Moment Research 借助 GPT-6 Astra、GPT-6.1 Sol、Codex 以及面向网络安全的 Daybreak,构建能连续多天保持专注并随使用不断改进的智能体。该实验室目前可让 10,000 个智能体持续运行 36 小时以上。
Tamnoon 基于 Amazon Bedrock 构建了智能体云修复编排器 Tami,自主调查 CNAPP 及云原生来源的安全发现并编排修复,90 天内关键云暴露减少超 90% 且零生产事故。