跳到正文
11月21日周六
  1. AWS Machine Learning Blog40

    Amazon SageMaker HyperPod Slurm 推出可观测性与用户管理托管集群扩展

    AWS 为 Amazon SageMaker HyperPod Slurm 推出托管集群扩展,首批含可观测性与用户管理(含目录集成),通过 API 或控制台统一管理。扩展配置提交时即经 schema 校验,自动应用到全部节点并保持一致,并报告自身状态与各节点健康。此前 HyperPod 已将声明式管理覆盖集群定义、节点设置、容量、网络拓扑与硬件健康五层配置。

  2. AWS Machine Learning Blog60

    AWS 推出 Amazon SageMaker HyperPod Global Inference Gateway,一个端点跨 Region 路由推理请求

    AWS 在 SageMaker HyperPod 推出 Global Inference Gateway,用一个 SageMaker 托管端点把推理请求路由到已注册的多个集群,支持同 Region 或跨 Region。

    推荐理由:原文给出了四信号加权路由与自动故障转移的实现细节,读者可据此评估多 Region 推理部署的改造方案。

  3. Hugging Face Blog77

    Inkling 2 Mini 发布,为本地部署提供前沿性能

    Hugging Face 与 Thinking Machines Lab 联合发布 Inkling 2 Mini,一款面向本地部署的多模态 MoE 模型,物理参数约 26B、每 token 激活 3B,支持 1M token 上下文。

    推荐理由:原文详解了循环层与跨轮消息机制如何让 24 个物理层达到 48 层逻辑效果,可迁移到其他端侧模型设计。

11月20日周五
  1. AWS Machine Learning Blog67

    Amazon Bedrock AgentCore payments 新增 AWS Billing,AI 智能体可购买 AWS Marketplace x402 产品

    AWS 为 Amazon Bedrock AgentCore payments 新增 AWS Billing 支付方式,AI 智能体可按请求购买 AWS Marketplace 上支持 x402 的软件、API、数据与内容,费用以 USD 结算到开发者 AWS 账单,无需稳定币钱包或 API key。

    推荐理由:原文给出智能体按请求付费的完整链路与单会话限额机制,读者可据此评估 agentic commerce 在企业内的落地方式。

  2. AWS Machine Learning Blog51

    BMW Group 如何在数千名开发者中治理数百个 Agent

    BMW Group 研发部门分享了在 12,500 余名开发者中规模化构建、治理和运营数百个 Agent 的五条工程实践。核心是 MCP 工具、技能与流程三层组合架构,按步骤而非按 Agent 分配 L0 到 L2 自治等级,并在 CI/CD 流水线中以确定性代码强制执行权限检查、策略合规与基于 ground-truth 数据集的评估门禁。

  3. AWS Machine Learning Blog55

    Amazon SageMaker AI 可检测推理端点的延迟漂移、GPU 闲置与未启用优化

    Amazon SageMaker AI 的推理推荐功能现在默认监控生成式 AI 推理端点,自动发现延迟漂移、GPU 闲置和未启用的优化。监控仅读取延迟、GPU 利用率等运行信号,不读取请求或响应内容;发现结果通过 AWS Health 推送,可在 SageMaker Studio 的智能体体验中对备选配置做并行基准比对,基准在独立算力上运行,确认后才生效。

  4. AWS Machine Learning Blog64

    Amazon Bedrock AgentCore harness 升级,引入 Strands harness 默认值、内置工具与生命周期钩子

    AWS 将 Amazon Bedrock AgentCore harness 升级为以开源 Strands harness(Apache 2.0 许可)为默认基础,并新增生命周期钩子。

    推荐理由:原文给出托管默认值与生命周期钩子的具体配置方式,读者可据此为已有智能体添加确定性的审批与通知流程。

  5. AWS Machine Learning Blog63

    Amazon SageMaker AI 推出跨区域推理路由,区域容量不足时自动转移推理流量

    AWS 为 Amazon SageMaker AI 推出跨区域推理路由,应用调用一个 inference router 即可访问多个 Region 和 AWS 账户下已运行的端点;本地目标健康时流量留在本 Region,目标无法可靠服务时新请求自动转移到其他已注册目标,恢复后再逐步回迁。

    推荐理由:原文把健康度评分、故障转移和回迁策略讲得较细,读者可判断能否用它替换自建的跨区域路由代码。

11月19日周四
  1. AWS Machine Learning Blog31

    Exa 将嵌入吞吐量提升 50%,在 AWS AI 芯片上索引数十亿文档

    Exa 将嵌入基础设施迁移至 AWS Neuron 硬件(AWS Inferentia2 与 AWS Trainium2),实现约 50% 的吞吐量提升。通过权重布局优化、autocast、NKI 内核与自定义融合 SwiGLU MLP 内核,该方案在保持 0.999 余弦相似度的同时消除了内存瓶颈。此次升级支持对 300 亿份高优先级文档的重新嵌入,以优化其语义搜索网络索引。

  2. AWS Machine Learning Blog71

    Airbnb 如何以单任务成本在 Amazon Bedrock 上运营编码智能体

    Airbnb 分享了如何用单任务成本(cost per task)在 Amazon Bedrock 上评估并运营内部编码智能体 AirChat。发布前对每个模型和推理强度跑自建任务评测,同时记录分数与单任务成本;发布后用 CloudWatch 的延迟、限流和 token 指标对照评测结果排查问题。

    推荐理由:原文给出了一套把评测分数和单任务成本结合起来选模型、再用生产数据回检的完整方法,可直接迁移到自己的编码智能体运维。

  3. AWS Machine Learning Blog63

    Amazon SageMaker JumpStart 推出模型排行榜

    AWS 在 SageMaker Studio 中推出 JumpStart 模型排行榜,可横向比较 70 多个开放权重模型的质量、速度和成本,模型来自 Meta、Google、Qwen、IBM 和 Arcee 等提供商。

    推荐理由:原文说明排行榜如何用统一方法测量质量、速度与成本,读者可据此建立从筛选到部署的选型流程,不必再拼接不同来源的数据。

11月18日周三
  1. Hugging Face Blog39

    IBM 时间序列模型登陆 Confluent Streamhouse:新前沿与用例

    IBM 时间序列基础模型(累计下载量超 5000 万)现原生集成至 Confluent,云端与本地均可仅凭 CPU 运行、无需 GPU。团队可通过 Apache Flink 用 SQL 对流式数据执行预测、异常检测与语义智能,并把结果直接交给负责后续动作的应用与人员。模型可服务于制造、零售、银行、航空等关键场景,如提前 4 小时预测生产线合格率、评估卡支付信号与预测交易量。

  2. NVIDIA Blog70

    NVIDIA RTX Spark 紧凑型桌面主机正式上市

    NVIDIA 宣布来自 ASUS、Dell 和 MSI 的 RTX Spark 紧凑型桌面主机现已上市,为本地 AI 智能体、图像与视频生成及模型微调提供专用 Windows PC。

    推荐理由:原文列出了硬件规格、本地模型规模上限和软件生态适配,读者可据此判断它能否承接现有本地 AI 工作流。

  3. AWS Machine Learning Blog68

    降低 Amazon Bedrock AgentCore JSON 工作负载的 token 成本与延迟

    AWS 与 Flightscape 分享三种可组合的优化策略,让处理 20 MB+ JSON 负载的生产级智能体显著降低 token 成本与延迟。三种策略分别是把重型工件卸载到 Amazon S3 并只持久化内容寻址引用、对超大列表结果按需分页、用结构描述符压缩超大字典输出。

    推荐理由:三种可组合策略把大 JSON 负载移出模型上下文并附完整代码,处理类似负载的智能体团队可直接迁移复用。

  4. AWS Machine Learning Blog61

    AWS:规则交给代码、判断交给模型,削减生成式 AI 成本

    AWS 官方博客提出,生成式 AI 工作流最大的成本杠杆是先判断每个步骤是否需要调用模型:能用规则校验的步骤交给确定性代码,固定选项的决策用受限决策调用并设置升级信号,只有开放式任务才交给规格合适的 Amazon Bedrock 模型。

    推荐理由:原文提供了一套可迁移的步骤级决策框架,读者可对照自己的工作流找出不必调用模型的环节以降低成本与延迟。