NVIDIA 发布 Cosmos 3 交互式世界模拟开放模型
NVIDIA 在 Hugging Face 发布 Cosmos 3 模型家族的四个开放权重检查点,分别用于多视角驾驶数据生成、同步相机与 LiDAR 流式仿真、仿真器控制转视频以及双臂机器人动作预测。
推荐理由:四个检查点分别覆盖驾驶数据生成、流式仿真与机器人操作,并开放后训练配方,读者可据此评估迁移到自身场景的路径。
NVIDIA 在 Hugging Face 发布 Cosmos 3 模型家族的四个开放权重检查点,分别用于多视角驾驶数据生成、同步相机与 LiDAR 流式仿真、仿真器控制转视频以及双臂机器人动作预测。
推荐理由:四个检查点分别覆盖驾驶数据生成、流式仿真与机器人操作,并开放后训练配方,读者可据此评估迁移到自身场景的路径。
Google DeepMind 发布 Gemini Omni 1.2 Flash,在 Gemini API 与 Gemini for business 全面可用。
推荐理由:相比 Omni 1.1,片长从 10 秒延长至 15 秒、每秒价格下调 30%,并新增多轮对话式编辑与参考图保持能力。
Google DeepMind 发布新一代世界模型 Genie 4,可实时生成交互式模拟,并原生生成环境音、音乐与可适应输入的角色对话。模型结合 Gemini 系列能力,Gemini 3.8 Flash 作为引导智能体维护场景连贯,还可与 Gemini 4 Argon 及 Gemini Robotics 联动模拟多步骤机器人任务。
推荐理由:原文将 Genie 4 的能力拆为实时操控、物理与人物动作、原生音频和复杂事件模拟四部分,并说明了研究预览版的开放范围与已知局限。
NVIDIA 发布 Cosmos3-H-Dreams,一个基于 Cosmos 3 的实时生成式手术仿真器,可在单张 RTX PRO 6000 GPU 上交互运行。
推荐理由:它把交互式生成仿真从桌面缝合推进到临床胆囊切除场景,并开放模型、代码与蒸馏配方,具身智能团队可按这套方法迁移到自有数据。
TwelveLabs 的视频语言模型 Pegasus 1.5 现已在 Amazon Bedrock 上线(US West (Oregon) 区域),可将最长 2 小时的长视频转化为带时间戳的结构化 JSON 元数据。
推荐理由:相比 Pegasus 1.2 只能对单段视频问答,1.5 可按自定义条件切分整片视频并输出带时间戳的 JSON,适合需要批量编目长视频的团队。
VAST 发布并开源实时世界模型 EdenLive,在单张 Nvidia RTX 5090、720P 条件下,其 5B 模型生成速度超过 24FPS,支持分钟级连续生成,端到端延迟为百毫秒级。
推荐理由:原文拆解了状态维护与视觉渲染解耦的技术路线,读者可据此判断实时世界模型在交互场景中的适用边界。
快手可灵 AI 宣布 Kling 4.0 正式全量上线 klingai.com,单次生成视频最长可达 30 秒,支持多次续拍最长延展至 2 分钟。
推荐理由:原文逐项列出 Kling 4.0 的时长、分辨率与多语种能力,读者可直接对比同类视频生成模型的可用边界。