ElevenLabs 发布两款面向实时 AI 对话的 Eleven Realtime 语音转语音模型
ElevenLabs 发布两款名为 Eleven Realtime 的语音转语音模型 v1 Max 与 v1 Mini。
推荐理由:原文给出了新模型在 Big Bench Audio 上的得分与响应延迟,并对照 Artificial Analysis 榜单定位,便于与其他实时语音模型横向比较。
技术方向
AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。
29 条精选近 30 天 19 条共收录 212 条
ElevenLabs 发布两款名为 Eleven Realtime 的语音转语音模型 v1 Max 与 v1 Mini。
推荐理由:原文给出了新模型在 Big Bench Audio 上的得分与响应延迟,并对照 Artificial Analysis 榜单定位,便于与其他实时语音模型横向比较。
Mistral AI 发布 Voxtral 3 语音模型家族与语音智能体 SDK,覆盖语音识别、语音合成与实时对话全链路。
推荐理由:原文给出各模型定价、基准对比与自部署选项,读者可直接评估其替代现有语音方案的可行性。
这篇文章面向有后端经验、刚接触电话/VoIP 的开发者,讲解如何用开源软交换 FreeSWITCH 把电话系统接入语音客服机器人。
推荐理由:原文把从 SIP/RTP、拨号计划到 ESL 控制和音频分叉的整条链路拆开讲解,读者可据此把现有 ASR/LLM/TTS 机器人接入真实电话线路。
IBM Granite 团队发布 Granite-Switch-4.1-8B 与 -30B,将通用 Decision aLoRA、安全决策 Guardian aLoRA 和 OpenASR 榜单上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC 组合进一个托管端点。
推荐理由:原文给出用 aLoRA 复用 KV cache 在单一端点组合多种能力的做法,读者可迁移到低显存多能力部署场景。
SpaceXAI 发布 Grok Voice 3.0 语音转语音模型,官方称其智能水平全球最高、延迟低于 1 秒,现已通过 API 上线。
推荐理由:原文给出了第三方榜单排名、延迟与成本对比,读者可据此判断该模型在语音智能体场景中的实际竞争力。
Hugging Face 推出 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与语音克隆模型。榜单以 Qwen3 ASR 转写计算 WER/CER 衡量可懂度,以 RTFx 和 TTFA 衡量 H200 GPU 上的批量推理与流式延迟,并以 WavLM 嵌入余弦相似度衡量说话人相似度,把单个模型评测从数周缩短到数小时。
推荐理由:原文对比了人工偏好竞技场与客观指标评测,说明新榜单用 WER、RTFx、TTFA 和说话人相似度补齐开源 TTS 评测的缺口。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将近实时视频生成与语音结合,为 Gemini 实时对话模型增加能看、能听、能说的动态虚拟形象。该功能今天起在 Gemini Enterprise 可用,支持后台异步工具调用、97 种语言间的无缝语音同步切换,以及基于参考图像定制品牌虚拟形象,所有音视频输出均带 SynthID 水印。
推荐理由:原文列出了实时视觉形象、后台异步工具调用与 97 种语言同步能力,读者可据此评估企业级虚拟客服的落地方式。
Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色 voice 设计与逐句表演控制,后者面向高并发、低成本的配音与语音智能体场景。
推荐理由:两款模型分别面向创意配音与高并发场景,并给出语音复制的同意验证与 SynthID 水印机制,便于评估合规接入。
Google DeepMind 发布 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking 两款近实时语音对话模型,前者主打规模与成本效率,后者面向高复杂度任务的多步推理。
推荐理由:原文给出两款模型在语音对话质量榜和多项 agent 基准上的具体得分,并说明开发者与企业的分阶段获取入口,可据此评估落地成本。