PolyAI Dialog-RSN-1 现已登陆 Amazon SageMaker JumpStart
PolyAI 实时对话推理模型 Dialog-RSN-1 现已上线 AWS Marketplace 与 Amazon SageMaker JumpStart,支持一键部署至自有 AWS 环境。
PolyAI 实时对话推理模型 Dialog-RSN-1 现已上线 AWS Marketplace 与 Amazon SageMaker JumpStart,支持一键部署至自有 AWS 环境。
微软 AI 在 Ignite 大会一次性发布七款自研 MAI 模型,覆盖代码、安全、图像、语音和路由,主打性价比,对标合作伙伴 OpenAI 的产品线。MAI Code 2 在四项基准上达到 GPT-6.1 Sol 约 98% 的表现、成本为其 40%;MAI Cyber 2 Flash 在 CyberGym-E2E 上得分超过 GPT-6 Astra,每任务成本不到其 2%。
推荐理由:原文逐项列出七款 MAI 模型与 OpenAI 对应模型的基准得分和价格对比,读者可据此评估自建与外部调用的成本取舍。
Rumble-2-Flash 是 Reson8 发布的 0.5B 参数语音识别模型,支持 40+ 语言并自动检测语种,已以 Apache 2.0 协议开源,原生兼容 🤗 Transformers 与 vLLM。
推荐理由:原文给出 0.5B 语音模型与 30B 模型的基准对比,以及跨分词器的 on-policy 蒸馏方法,可作为小模型压缩的参考路径。
微软在 Ignite 2026 大会上发布首款语音对语音模型 MAI Realtime 1,面向企业实时语音场景,可处理打断、快速确认和嘈杂多人环境,基础使用费为每音频分钟 0.01 美元,推理另按每百万输入 token 1 美元、输出 token 5 美元计费。
腾讯混元发布实时语音模型 Hy Realtime,新增 Agentic 工具调用与唱歌能力,已在元宝语音通话、腾讯客服等产品上线,近期将上线腾讯云并提供 API 服务。该模型可结合上下文还原口齿含糊、话说半截等不完整输入的意图,并能按歌手、专辑、曲风、语种、年份与热度组合点歌演唱。官方表示下一步将重点提升双工交互、长期个性化记忆与前后台 Agent 交互能力。
ElevenLabs 发布语音转文字模型 Scribe v3 与 Scribe v3 Live,前者面向预录音频,后者面向低延迟实时场景,词错误率较前代降低约 25%,覆盖 102 种语言,现已通过 ElevenAPI 和 ElevenAgents 开放。
DeepL 推出新的 Aure 语音模型,可在实时翻译中把原说话者的语气、情绪、重音和语速带入目标语言。
DeepL 发布语音 AI 翻译模型 Aure,官方称其为迄今最具动态感、最逼真的语音 AI 模型,可在实时翻译中复现说话者的语气起伏、情绪流转、重音强调及语速快慢。Aure 是 DeepL Voice 的底层驱动核心,已支持 DeepL Voice 网页会议版、面对面交谈版和语音 API,首发支持英语、德语、西班牙语、法语、意大利语、日语、葡萄牙语及韩语,尚未支持的语言会自动使用之前的语音模型。
智元发布 WITA-Omni(硅光动语全模态大模型),官方称其为行业首个具身全模态端到端交互大模型。模型基于机器人本体感知数据训练,除音视频外新增触觉、本体状态等输入,以及机器人动作、表情等输出;采用流式全双工架构,可边听边想边应边动,交互响应最快约 400 毫秒、平均约 600 毫秒,较业内平均水平快近 3 倍。
日本 Shizuku AI 公布全双工模型 Shizuku-Duplex,是继 GPT-Live 后第二个支持日语智能对话的全双工模型,无需完整询问即可启动思考。
Underdog 发布仅 32MB 的语音生成模型 Woof,并通过一款浏览器游戏演示其在无网络环境下的语音交互能力。该模型有 31M 参数并开放下载,此前公司还推出了 167MB 的端侧语音转文字模型 Bark。创始人 Sigil Wen 表示希望让模型在用户设备上本地运行,使用户拥有自己的数据。
Granite Switch 4.1.1 为补丁版本,与 4.1 完全向后兼容、无需迁移,底层基础模型保持不变。本次更新带来支持 10 种语言的 Granite Speech ASR 模型(具备原生标点与大小写),以及 在 Jev Decision Index 测试集上性能提升的 Decision adapter。
英伟达 10 月 28 日推出开放权重语音转录模型 Nemotron 3.5 Transcribe,并公开训练数据管线 Granary v2。模型采用 MoE 架构,总参数约 340 亿、激活参数约 43 亿,可处理最长 1 小时录音,支持 40 种语言转录,最多区分 8 名说话人,整合转录、说话人归属、翻译和音频问答。
推荐理由:原文给出公开评测词错误率与说话人分离基准成绩,读者可据此比较它与同类开源转录模型的能力边界。
Nvidia 发布开源语音模型 Nemotron 3.5 Transcribe,可在单模型内完成转写、翻译、说话人识别和录音问答。模型总参数 300 亿、每步激活约 40 亿,可在单张 Nvidia GPU 上运行,支持 40 种语言转写、31 种语言与英语互译、13 种语言的说话人识别,最长处理 1 小时、最多 8 人的录音。
Nvidia 发布免费开源权重转录模型 Nemotron 3.5 Transcribe,可转录约 40 种语言的音频,并同步推出开源语音数据集 Granary v2。官方称该模型支持 31 种语言与英语互译、处理最长一小时录音、区分最多 8 个说话人,30B 参数可运行在 Jetson AGX Thor 到 Blackwell 的单芯片上,但仅适用于录音而非实时流。
Retell 使用 OpenAI 模型驱动其语音智能体,每月支撑 1 亿次通话。GPT-6 Astra 在 Retell 的语音智能体基准测试中位居榜首,Codex 则助其实现每位员工 160 万美元的年化收入。
腾讯混元发布并开源同声传译大模型 Hy-SimulMT,支持中英语音到语音实时翻译,边听边译并支持实时音色克隆,实测响应时间约 3 秒,低于人类专业译员 4-5 秒的平均水平。该模型在腾讯 Hy 翻译 App 首发并免费开放体验;官方测评称其翻译效果超过主流开源同传模型和多数商用同传 API,在自建多领域测评中质量达到人类同传专家水平且时延更低。
Block 发布全双工 AI 语音模型 Dessa,能模拟笑声、停顿、哽咽等情绪表达,可在 M4 Max 及更高配置的 MacBook 上本地运行。Dessa 完全基于人类语音数据训练,知识来源于训练所用的对话数据,无需搭配大语言模型;Block 称情绪表达为模型原生内置,但底层是否依靠标签调控尚不清楚。
Block 发布语音模型 Dessa,可在单张 NVIDIA GPU 上本地运行,支持全双工同时说与听。该模型完全基于人类语音训练,Block 称其情绪表达内置在模型中,而非像 ElevenLabs v4 或 Fish Audio Drama 3 那样由文本或语音标签驱动。目前 Dessa 尚未公开开放,Block 正邀请安全研究员对其进行测试。
Block 发布语音模型 Dessa,完全基于人类语音从零训练、不使用任何文本数据,直接处理音频以实时感知情绪、讽刺、笑声与停顿。模型支持全双工通信,可边听边说,并在 MacBook Pro M4 Max 上本地运行,使用单台 NVIDIA GB200 NVL72 训练。Dessa 尚未公开,团队先邀请 AI 安全研究人员测试潜在风险。
Block 发布名为 Dessa 的 AI 模型,它完全只用人类对话从零训练,是真正的 speech-to-speech 模型,一切知识都来自人类语音。团队展示了多段偶尔略显尴尬的对话示例,包括与 OpenAI 的 GPT-Live-1 语音模型的对比。Dessa 可在 MacBook Pro M4 Max 或更高配置上本地运行,团队将向一小群 AI 安全研究人员提供早期访问。
Google Research 回顾了其结核病筛查 AI 从论文到临床落地的路径,与 Nexus AI 合作的胸片工具获 CE MDR IIb 认证,在六国约 40 家机构评估超 25,000 张胸片,周转时间从数周缩至 45 秒以内。
推荐理由:原文梳理了从论文基准到 CE 认证临床工具的落地路径,读者可看到开放模型如何支撑各国本地化医疗部署。
科大讯飞在全球 1024 开发者节发布星火语音基座大模型 SparkAudio 1.0,集成机器翻译、语音识别、语义理解等能力。模型宣称在实时说话人分离、环境理解、音频理解、情绪识别等方面表现卓越,支持中英文任意切换、说话人实时识别,已在讯飞输入法 16.0、讯飞听见、讯飞办公本、讯飞翻译机全面上线。
IBM Granite 团队发布 Granite Speech 5.0 系列更新:新模型 granite-speech-5.0-2b 与更新版 granite-speech-5.0-470m-turboctc、granite-speech-4.1-2b-plus,分别面向高精度多语转写翻译、端侧高速转写和多说话人录音。
推荐理由:三个模型分别覆盖高精度转写、端侧极速转写和多说话人归因场景,读者可按企业需求直接选型。
ElevenLabs 发布两款名为 Eleven Realtime 的语音转语音模型 v1 Max 与 v1 Mini。
推荐理由:原文给出了新模型在 Big Bench Audio 上的得分与响应延迟,并对照 Artificial Analysis 榜单定位,便于与其他实时语音模型横向比较。
Mistral AI 发布 Voxtral 3 语音模型家族与语音智能体 SDK,覆盖语音识别、语音合成与实时对话全链路。
推荐理由:原文给出各模型定价、基准对比与自部署选项,读者可直接评估其替代现有语音方案的可行性。
蚂蚁百灵宣布开源 Ming-3.0 语音系列,包含语音合成、音频理解与对话、语音识别三个系列共五款模型,开发者可按任务选用或组合进自己的工作流。
网易有道 Confucius4-R2T2 登顶 Hugging Face ASR Trending,中文字错率 6.42%、英文 WER 6.13%、延迟 0.55 秒,其核心是以不可逆输出替代回改:已 commit 的字永久锁定,用等待代替修改。
可灵 AI 发布 Kling 4.0 视频生成模型,单次可生成最长 30 秒视频,支持最多 10 张关键帧输入,提示词理解扩展至 8,000 tokens。升级后的 Omni Reference 可在单次生成中接受最多 15 个参考素材,新增双声道立体声音效与覆盖十多种语言的口型同步,轻量 Flash 版本上限为 720p 和 20 秒。
小米宣布开源空间音频理解大模型 MiDashengLM-Spatial,完整公开模型权重和推理代码,以 Apache 2.0 许可证发布。新模型以 MiDashengLM-7B 为基座,除听懂声音内容外还能感知声音来源与空间分布,小米称其为业界首个开源的端到端空间音频理解大模型。
IBM Granite 团队发布 Granite-Switch-4.1-8B 与 -30B,将通用 Decision aLoRA、安全决策 Guardian aLoRA 和 OpenASR 榜单上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC 组合进一个托管端点。
推荐理由:原文给出用 aLoRA 复用 KV cache 在单一端点组合多种能力的做法,读者可迁移到低显存多能力部署场景。
SpaceXAI 发布 Grok Voice 3.0 语音转语音模型,官方称其智能水平全球最高、延迟低于 1 秒,现已通过 API 上线。
推荐理由:原文给出了第三方榜单排名、延迟与成本对比,读者可据此判断该模型在语音智能体场景中的实际竞争力。
阿布扎比技术创新研究所(TII)发布 Falcon-ASR,一个 1.6B 参数的阿拉伯语语音识别模型,重点针对阿联蒂方言,同一套模型权重还支持英语、法语、西班牙语和葡萄牙语,无需指定语言。
Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色 voice 设计与逐句表演控制,后者面向高并发、低成本的配音与语音智能体场景。
推荐理由:两款模型分别面向创意配音与高并发场景,并给出语音复制的同意验证与 SynthID 水印机制,便于评估合规接入。
Google DeepMind 发布 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking 两款近实时语音对话模型,前者主打规模与成本效率,后者面向高复杂度任务的多步推理。
推荐理由:原文给出两款模型在语音对话质量榜和多项 agent 基准上的具体得分,并说明开发者与企业的分阶段获取入口,可据此评估落地成本。