视频是算出来的:DeepSeek Harness 零素材全代码生成视频插件
作者用 DeepSeek Harness 插件以纯代码程序化渲染完成一部 3 分 54 秒中文科普片,核心做法是先逐句合成旁白、用实测 PCM 时长驱动时间轴,每帧作为纯函数保证可复现,再配四层质检。
推荐理由:作者给出了可迁移的工程方法,用实测音频时长驱动时间轴、帧作纯函数、分层质检,让程序化视频可复现可验收。
技术方向
AI 视频生成与理解:文生视频模型、视频编辑工具与影视创作变革的追踪。
15 条精选近 30 天 6 条共收录 117 条
作者用 DeepSeek Harness 插件以纯代码程序化渲染完成一部 3 分 54 秒中文科普片,核心做法是先逐句合成旁白、用实测 PCM 时长驱动时间轴,每帧作为纯函数保证可复现,再配四层质检。
推荐理由:作者给出了可迁移的工程方法,用实测音频时长驱动时间轴、帧作纯函数、分层质检,让程序化视频可复现可验收。
NVIDIA 在 Hugging Face 发布 Cosmos 3 模型家族的四个开放权重检查点,分别用于多视角驾驶数据生成、同步相机与 LiDAR 流式仿真、仿真器控制转视频以及双臂机器人动作预测。
推荐理由:四个检查点分别覆盖驾驶数据生成、流式仿真与机器人操作,并开放后训练配方,读者可据此评估迁移到自身场景的路径。
Google DeepMind 发布 Gemini Omni 1.2 Flash,在 Gemini API 与 Gemini for business 全面可用。
推荐理由:相比 Omni 1.1,片长从 10 秒延长至 15 秒、每秒价格下调 30%,并新增多轮对话式编辑与参考图保持能力。
Genspark 发布视频智能体工作台 Media Studio,由大语言模型担任「导演」调度 20 多家厂商的 70 多个模型版本,覆盖视频、图像、音频和 3D 生成。
推荐理由:作者用四个实测案例展示了从rap视频到短剧的完整流程,读者可以直观判断这套工作流的门槛和积分成本。
作者开源了 VClip(https://github.com/wyfirstname/videoclip),一个 Electron 桌面应用,本机跑完语音识别、大模型挑选切片与导出,全程不传视频音频,唯一外部调用是可选的 OpenAI 兼容接口,也可换本地 Ollama。
推荐理由:作者把六个真实踩坑点讲到了可复现的程度,做 Electron 媒体类应用的人能直接照着排查。
Google DeepMind 发布新一代世界模型 Genie 4,可实时生成交互式模拟,并原生生成环境音、音乐与可适应输入的角色对话。模型结合 Gemini 系列能力,Gemini 3.8 Flash 作为引导智能体维护场景连贯,还可与 Gemini 4 Argon 及 Gemini Robotics 联动模拟多步骤机器人任务。
推荐理由:原文将 Genie 4 的能力拆为实时操控、物理与人物动作、原生音频和复杂事件模拟四部分,并说明了研究预览版的开放范围与已知局限。
作者实测用 DeepSeek Harness 驱动 DeepSeek-V4.1-Flash 的 coding agent,从一句话需求走到可交付成片,核心思路是让 Agent 写程序编排真实素材而非逐帧生成像素。
推荐理由:原文给出了一条可复用的工程路线,把视频制作拆成可编程、可复现的流水线,读者可据此评估 Agent 在自己场景中的可行性。
NVIDIA 发布 Cosmos3-H-Dreams,一个基于 Cosmos 3 的实时生成式手术仿真器,可在单张 RTX PRO 6000 GPU 上交互运行。
推荐理由:它把交互式生成仿真从桌面缝合推进到临床胆囊切除场景,并开放模型、代码与蒸馏配方,具身智能团队可按这套方法迁移到自有数据。
HeyGen 开源 HyperFrames,把 HTML、CSS 和可 seek 动画渲染成确定性 MP4,Apache-2.0 协议,GitHub 68,154 颗 Star。
推荐理由:原文拆解了 HyperFrames 用 HTML 加可 seek 动画实现确定性视频渲染的思路,并给出与 Remotion 的取舍对比,可迁移到其他 Agent 内容生成的设计中。
作者用同一套视觉元素在 Remotion、Remotion+GSAP+Three、HyperFrames、React Native Skia 四条技术栈各渲染一条 720×1280 / 30fps 样片,抽帧质检全部通过,并整理出 32 项 × 4 栈共 128 格能力矩阵。
推荐理由:同一套视觉元素四栈并排实测并给出 32 项能力矩阵,选栈方法与抽帧质检脚本可直接迁移到自己的代码渲染视频项目。
TwelveLabs 的视频语言模型 Pegasus 1.5 现已在 Amazon Bedrock 上线(US West (Oregon) 区域),可将最长 2 小时的长视频转化为带时间戳的结构化 JSON 元数据。
推荐理由:相比 Pegasus 1.2 只能对单段视频问答,1.5 可按自定义条件切分整片视频并输出带时间戳的 JSON,适合需要批量编目长视频的团队。
VAST 发布并开源实时世界模型 EdenLive,在单张 Nvidia RTX 5090、720P 条件下,其 5B 模型生成速度超过 24FPS,支持分钟级连续生成,端到端延迟为百毫秒级。
推荐理由:原文拆解了状态维护与视觉渲染解耦的技术路线,读者可据此判断实时世界模型在交互场景中的适用边界。
快手可灵 AI 宣布 Kling 4.0 正式全量上线 klingai.com,单次生成视频最长可达 30 秒,支持多次续拍最长延展至 2 分钟。
推荐理由:原文逐项列出 Kling 4.0 的时长、分辨率与多语种能力,读者可直接对比同类视频生成模型的可用边界。
Google Research 发布面向连贯长视频生成的研究框架套件,将长视频生成建模为全局优化与世界状态追踪问题,在多镜头叙事一致性与角色持久性上取得显著提升。
推荐理由:原文把长视频生成拆解为全局优化与世界状态追踪四个框架,并给出各基准上的量化提升,可据此对照现有 Agent 编排管线的短板。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将近实时视频生成与语音结合,为 Gemini 实时对话模型增加能看、能听、能说的动态虚拟形象。该功能今天起在 Gemini Enterprise 可用,支持后台异步工具调用、97 种语言间的无缝语音同步切换,以及基于参考图像定制品牌虚拟形象,所有音视频输出均带 SynthID 水印。
推荐理由:原文列出了实时视觉形象、后台异步工具调用与 97 种语言同步能力,读者可据此评估企业级虚拟客服的落地方式。