跳到正文

技术方向

AI 视频 最新动态

AI 视频生成与理解:文生视频模型、视频编辑工具与影视创作变革的追踪。

15 条精选近 30 天 6 条共收录 117 条

更新

AI 视频的精选

11月8日周日第 1–15 条
  1. 博客园76

    视频是算出来的:DeepSeek Harness 零素材全代码生成视频插件

    作者用 DeepSeek Harness 插件以纯代码程序化渲染完成一部 3 分 54 秒中文科普片,核心做法是先逐句合成旁白、用实测 PCM 时长驱动时间轴,每帧作为纯函数保证可复现,再配四层质检。

    推荐理由:作者给出了可迁移的工程方法,用实测音频时长驱动时间轴、帧作纯函数、分层质检,让程序化视频可复现可验收。

11月6日周五
  1. Hugging Face Blog64

    NVIDIA 发布 Cosmos 3 交互式世界模拟开放模型

    NVIDIA 在 Hugging Face 发布 Cosmos 3 模型家族的四个开放权重检查点,分别用于多视角驾驶数据生成、同步相机与 LiDAR 流式仿真、仿真器控制转视频以及双臂机器人动作预测。

    推荐理由:四个检查点分别覆盖驾驶数据生成、流式仿真与机器人操作,并开放后训练配方,读者可据此评估迁移到自身场景的路径。

10月30日周五
10月29日周四
  1. 博客园77

    用 Electron 做的 AI 视频切片工作台 VClip:技术选型与踩坑实录

    作者开源了 VClip(https://github.com/wyfirstname/videoclip),一个 Electron 桌面应用,本机跑完语音识别、大模型挑选切片与导出,全程不传视频音频,唯一外部调用是可选的 OpenAI 兼容接口,也可换本地 Ollama。

    推荐理由:作者把六个真实踩坑点讲到了可复现的程度,做 Electron 媒体类应用的人能直接照着排查。

10月28日周三
  1. Google DeepMind80

    Google DeepMind 发布 Genie 4 新一代世界模拟模型

    Google DeepMind 发布新一代世界模型 Genie 4,可实时生成交互式模拟,并原生生成环境音、音乐与可适应输入的角色对话。模型结合 Gemini 系列能力,Gemini 3.8 Flash 作为引导智能体维护场景连贯,还可与 Gemini 4 Argon 及 Gemini Robotics 联动模拟多步骤机器人任务。

    推荐理由:原文将 Genie 4 的能力拆为实时操控、物理与人物动作、原生音频和复杂事件模拟四部分,并说明了研究预览版的开放范围与已知局限。

10月22日周四
  1. 博客园80

    用 DeepSeek Harness 与 DeepSeek-V4.1-Flash 搭建 Agent 视频生产流水线

    作者实测用 DeepSeek Harness 驱动 DeepSeek-V4.1-Flash 的 coding agent,从一句话需求走到可交付成片,核心思路是让 Agent 写程序编排真实素材而非逐帧生成像素。

    推荐理由:原文给出了一条可复用的工程路线,把视频制作拆成可编程、可复现的流水线,读者可据此评估 Agent 在自己场景中的可行性。

10月21日周三
10月20日周二
  1. 掘金76

    Remotion / GSAP+Three / HyperFrames / Skia 四栈实测:代码渲染知识视频的选栈方法(附开源技能)

    作者用同一套视觉元素在 Remotion、Remotion+GSAP+Three、HyperFrames、React Native Skia 四条技术栈各渲染一条 720×1280 / 30fps 样片,抽帧质检全部通过,并整理出 32 项 × 4 栈共 128 格能力矩阵。

    推荐理由:同一套视觉元素四栈并排实测并给出 32 项能力矩阵,选栈方法与抽帧质检脚本可直接迁移到自己的代码渲染视频项目。

  2. AWS Machine Learning Blog63

    TwelveLabs Pegasus 1.5 视频语言模型在 Amazon Bedrock 上线

    TwelveLabs 的视频语言模型 Pegasus 1.5 现已在 Amazon Bedrock 上线(US West (Oregon) 区域),可将最长 2 小时的长视频转化为带时间戳的结构化 JSON 元数据。

    推荐理由:相比 Pegasus 1.2 只能对单段视频问答,1.5 可按自定义条件切分整片视频并输出带时间戳的 JSON,适合需要批量编目长视频的团队。

10月19日周一
  1. 量子位81

    VAST 开源实时世界模型 EdenLive,单张 RTX 5090 上 720P 超过 24FPS

    VAST 发布并开源实时世界模型 EdenLive,在单张 Nvidia RTX 5090、720P 条件下,其 5B 模型生成速度超过 24FPS,支持分钟级连续生成,端到端延迟为百毫秒级。

    推荐理由:原文拆解了状态维护与视觉渲染解耦的技术路线,读者可据此判断实时世界模型在交互场景中的适用边界。

10月16日周五
9月25日周五
  1. Google Research64

    Google Research 发布连贯长视频生成研究框架套件 Co-Director、CANVAS、A²RD 与 VQQA

    Google Research 发布面向连贯长视频生成的研究框架套件,将长视频生成建模为全局优化与世界状态追踪问题,在多镜头叙事一致性与角色持久性上取得显著提升。

    推荐理由:原文把长视频生成拆解为全局优化与世界状态追踪四个框架,并给出各基准上的量化提升,可据此对照现有 Agent 编排管线的短板。

  2. Google DeepMind64

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar 实时虚拟形象功能

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将近实时视频生成与语音结合,为 Gemini 实时对话模型增加能看、能听、能说的动态虚拟形象。该功能今天起在 Gemini Enterprise 可用,支持后台异步工具调用、97 种语言间的无缝语音同步切换,以及基于参考图像定制品牌虚拟形象,所有音视频输出均带 SynthID 水印。

    推荐理由:原文列出了实时视觉形象、后台异步工具调用与 97 种语言同步能力,读者可据此评估企业级虚拟客服的落地方式。