跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

57 条精选近 30 天 36 条共收录 386 条

更新

精选归档 · 第 3 页

10月18日周日第 41–57 条
  1. 掘金83

    实测 DeepSeek V4.1-Flash-1017:一句话生成可玩游戏,但思考会吃掉大部分输出预算

    DeepSeek 于 10 月 17 日 18:07 将 V4.1 Flash 更新到 V4.1-Flash-1017,网页端、App、API 三端同步切换,API 名 deepseek-flash 与价格均不变。

    推荐理由:实测发现 high 推理档下思考会吃掉大部分输出预算,代码生成需把 max_tokens 给足 32,000 以上,否则交付物被截断。

10月16日周五
  1. Hugging Face Blog88

    Meta 发布开源前沿多模态 MoE 模型 Muse Spark Open

    Meta 发布开源多模态混合专家模型 Muse Spark Open,总参数约 816B、每 token 激活约 42B,上下文窗口最长 1M tokens,支持文本、图像、音频、视频输入并输出文本。

    推荐理由:文章给出 816B 参数 MoE 模型从推理部署到 LoRA 微调的完整配方,可作为同类开源大模型落地的参考路径。

10月15日周四
  1. Hugging Face Blog72

    Apertus 1.5 发布:支持图像与音频理解,上下文窗口扩展至 262,144 tokens

    Project Apertus 发布 Apertus 1.5 的 8B 与 70B 模型(2026 年 7 月 24 日上线 Hugging Face,Apache 2.0 许可),在 Apertus 1.0 基础上新增图像与音频理解、可选思考模式,上下文窗口扩展至 262,144 tokens。

    推荐理由:原文完整公开了从数据、训练配方到中间检查点的全流程细节,可作为复现开源多模态模型训练的参考样本。

  2. IT之家76

    阶跃 Step 5 Preview 大模型权重开放,支持 100 万 token 上下文窗口

    阶跃今日正式开放 Step 5 Preview 模型权重,同步发布技术博客与配套开源开发工具。模型面向长程 Agent 任务,采用稀疏 MoE 架构,总参数量 600B、每 token 激活参数 27B,支持 100 万 token 上下文窗口,原生支持文本与视觉输入,近期在 OpenRouter 周调用量与日调用量榜单均位居全球第二。

    推荐理由:原文给出了 600B 稀疏 MoE 与百万 token 上下文的关键设计,读者可据此判断它在长程 Agent 场景中的适用性。

  3. IT之家80

    中国科学家团队依托书生-S2 完成三维 Ghys 猜想证明

    10 月 15 日消息,上海人工智能实验室访问学者、大湾区大学教授许地生团队依托书生科学多模态大模型 S2,基于“通专融合”技术路径通过人机协同完成三维 Ghys 猜想证明,论文已在 arXiv 发布。

    推荐理由:原文展示了人机协同证明数学猜想的完整闭环,读者可了解专家直觉接入机器求解回路这一可迁移的科研范式。

  4. Google Research62

    Google Earth AI 地理空间智能体公布三项更新并扩大早期访问

    Google Research 公布 Earth AI 地理空间推理智能体的三项更新,涵盖技术报告、合作伙伴实测结果与早期访问扩展。技术报告在 GeoExpertQueries、GeoKTools、CBGB、UnivEARTH 四个基准上对比四种智能体配置,表明领域专用技能与前置规划显著优于开箱即用的 LLM,两个新基准的开发集已全部开放。

    推荐理由:报告用四档配置在四项基准上对比表明,领域技能与前置规划是通用 LLM 应对真实空间推理任务的关键。

10月8日周四
10月7日周三
  1. TechCrunch · AI76

    Google 推出全新 SynthID 网站,可识别 AI 生成的图像、视频与音频

    Google 推出全新 SynthID 网站,向所有用户开放验证图片、视频和音频是否由 AI 生成,此前该工具仅限部分记者、媒体从业者与研究者测试。网站支持 JPG、PNG 等图片格式、MP4 等视频格式和 WAV 等音频格式,Gemini、Veo、Lyria 等模型与工具已用 SynthID 为生成内容添加水印,OpenAI、Nvidia 和 Kakao 也支持该标准。

    推荐理由:对比 OpenAI 自建检测站点与 Microsoft、Meta 各自标准,可以看出 AI 内容溯源仍缺乏统一方案。

  2. Google DeepMind76

    EmbeddingGemma 2 发布:开源轻量级多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、740M 参数的开源轻量级多模态嵌入模型,采用 Apache 2.0 许可,可将文本、图像、音频和视频统一映射到同一嵌入空间。

    推荐理由:原文给出了参数量、模态拆分与量化后的内存占用,便于读者判断它能否直接落到自家端侧检索链路中。

10月6日周二
  1. Mistral AI77

    Mistral AI 发布 Mistral Large 4:1 万亿参数原生多模态模型开启公开预览

    Mistral AI 发布 Mistral Large 4(ML4)公开预览,1 万亿参数、490 亿活跃参数的原生多模态模型,为其迄今最大最强模型。权重将于本月底开放,模型在 Mistral 自有欧洲数据中心基于 3,800 块 NVIDIA Grace Blackwell GPU 完成训练。

    推荐理由:官方公布 ML4 在网络安全、编码与多模态基准上与闭源模型的对比数据,读者可据此判断开放权重模型的当前位置。

9月29日周二
  1. Microsoft Research72

    Microsoft Research 推出 Quine:面向生物学复杂性的 AI 研究系统

    Microsoft Research 发布 Quine,一个面向生物学的多模态世界模型与交互式研究系统,把模型、科研工具、文献与湿实验连接进闭环。在与 Broad Institute(哈佛与 MIT)合作的胰腺导管腺癌研究中,Quine 用一个周末完成数千化合物的预测与排序,最高排名化合物在多个湿实验中产生了最大的靶向细胞状态转变。

    推荐理由:原文展示了多模态生物世界模型如何与湿实验形成闭环,读者可据此判断 AI 在药物筛选与实验设计中的实际作用边界。

9月25日周五
  1. Google Research64

    Google Research 发布连贯长视频生成研究框架套件 Co-Director、CANVAS、A²RD 与 VQQA

    Google Research 发布面向连贯长视频生成的研究框架套件,将长视频生成建模为全局优化与世界状态追踪问题,在多镜头叙事一致性与角色持久性上取得显著提升。

    推荐理由:原文把长视频生成拆解为全局优化与世界状态追踪四个框架,并给出各基准上的量化提升,可据此对照现有 Agent 编排管线的短板。

  2. Google DeepMind64

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar 实时虚拟形象功能

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将近实时视频生成与语音结合,为 Gemini 实时对话模型增加能看、能听、能说的动态虚拟形象。该功能今天起在 Gemini Enterprise 可用,支持后台异步工具调用、97 种语言间的无缝语音同步切换,以及基于参考图像定制品牌虚拟形象,所有音视频输出均带 SynthID 水印。

    推荐理由:原文列出了实时视觉形象、后台异步工具调用与 97 种语言同步能力,读者可据此评估企业级虚拟客服的落地方式。

9月16日周三
  1. Google DeepMind83

    Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking 语音模型

    Google DeepMind 发布 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking 两款近实时语音对话模型,前者主打规模与成本效率,后者面向高复杂度任务的多步推理。

    推荐理由:原文给出两款模型在语音对话质量榜和多项 agent 基准上的具体得分,并说明开发者与企业的分阶段获取入口,可据此评估落地成本。