Google Duplex 如何演进为在 Gemini 中替你拨打商家电话
Google Research 本周在 Gemini App 的 Tasks 中上线 Duplex,让智能体替用户拨打商家电话并处理真实世界请求。文章回顾其十年架构演进,从闭域 RNN 模型、LaMDA 混合栈走向完全由 Gemini 统一的对话栈,并说明亚秒级延迟与嘈杂声学环境等实时电话技术难点。
推荐理由:文章回顾 Duplex 十年架构演进,读者可从中理解实时语音智能体在低延迟与对话节奏上的工程难点。
Google Research 本周在 Gemini App 的 Tasks 中上线 Duplex,让智能体替用户拨打商家电话并处理真实世界请求。文章回顾其十年架构演进,从闭域 RNN 模型、LaMDA 混合栈走向完全由 Gemini 统一的对话栈,并说明亚秒级延迟与嘈杂声学环境等实时电话技术难点。
推荐理由:文章回顾 Duplex 十年架构演进,读者可从中理解实时语音智能体在低延迟与对话节奏上的工程难点。
Amazon Polly 语音克隆现已正式可用(gated release),只需几分钟的说话人录音即可生成专属克隆语音,运行在 Amazon Polly 生成式引擎上。
推荐理由:原文给出从录音、建声到合成的完整接入方式与配额限制,读者可据此评估把定制品牌语音接入现有应用的改造量。
PolyAI 实时对话推理模型 Dialog-RSN-1 现已上线 AWS Marketplace 与 Amazon SageMaker JumpStart,支持一键部署至自有 AWS 环境。
Stretto 联合 AWS 生成式 AI 创新中心与 CI&T,基于 Amazon Bedrock 的语音到语音模型 Amazon Nova 2 Sonic 构建 AI 语音智能体 Tara,以电话自动完成破产咨询的多阶段信息采集。
Rumble-2-Flash 是 Reson8 发布的 0.5B 参数语音识别模型,支持 40+ 语言并自动检测语种,已以 Apache 2.0 协议开源,原生兼容 🤗 Transformers 与 vLLM。
推荐理由:原文给出 0.5B 语音模型与 30B 模型的基准对比,以及跨分词器的 on-policy 蒸馏方法,可作为小模型压缩的参考路径。
AssemblyAI 用 Amazon EC2 Spot Instances、Amazon ECS 和 Amazon SQS 搭建成本优化的语音转文字推理架构,在维持 SLA 承诺的同时显著降低成本。
Microsoft Research Focus 第 98 期分享微软最新研究进展,涵盖 AI 通用翻译、解决 31 年的 KLS 猜想及提升编程智能体效率。APEC 方法通过后台准备摘要,将编程智能体成本降低 25.4%、执行时间缩短 9.6%。Latent Core Tokenizer 在 104 种语言上生成更具语言学意义的 token,提升多语言基准表现。
Amazon SageMaker AI 宣布为双向流推理推出按用量计量,模型提供商可向 AWS Marketplace 上报客户实时会话中的实际消耗并据此收取软件费,SageMaker AI 端点基础设施费用仍单独适用。
Hugging Face 与 Liva AI 合作,为 Open ASR Leaderboard 新增埃及和尼日利亚口音英语两组私有会话数据,时长分别为 1.34 小时和 1.55 小时。
作者(NVIDIA 员工)为万圣节搭建了 MonsterHouse:一个会听会说的暴躁鬼屋投影,跑在单台工作站上。
Granite Switch 4.1.1 为补丁版本,与 4.1 完全向后兼容、无需迁移,底层基础模型保持不变。本次更新带来支持 10 种语言的 Granite Speech ASR 模型(具备原生标点与大小写),以及 在 Jev Decision Index 测试集上性能提升的 Decision adapter。
mattt 在 Hugging Face 博客发布两个开源 Swift 包 AnySpeechRecognizer 与 AnyDecisionModel,均可从 Hugging Face Hub 下载开源模型并在设备本地运行。
推荐理由:原文把两个 Swift 包的 API 设计、可选模型与基准数据列得较细,读者可据此评估能否在 Apple 端替换现有语音与决策方案。
NVIDIA 宣布 RTX Spark 笔记本迎来多项更新,覆盖新模型、Agent 工具与游戏。Nemotron 3.5 Transcribe 是约 4.3B 活跃参数的开放权重语音模型。
推荐理由:原文把 RTX Spark 的硬件能力落到语音模型、Agent 资源调度和游戏生态三条线上,读者可据此评估端侧 AI 的实际使用场景。
Retell 使用 OpenAI 模型驱动其语音智能体,每月支撑 1 亿次通话。GPT-6 Astra 在 Retell 的语音智能体基准测试中位居榜首,Codex 则助其实现每位员工 160 万美元的年化收入。
Google Research 回顾了其结核病筛查 AI 从论文到临床落地的路径,与 Nexus AI 合作的胸片工具获 CE MDR IIb 认证,在六国约 40 家机构评估超 25,000 张胸片,周转时间从数周缩至 45 秒以内。
推荐理由:原文梳理了从论文基准到 CE 认证临床工具的落地路径,读者可看到开放模型如何支撑各国本地化医疗部署。
Anima 借助 GPT-6 和 GPT-Live 帮助诊所将电话等待时间缩短 75%。护理团队借此扩展了服务能力,获得更多容量来回应患者。
Amazon Polly 生成式引擎升级,提供更自然、更准确且低延迟的语音输出,新增覆盖 9 个地区的 14 个语音,印地语和芬兰语生成式语音首次正式可用。这是现有生成式语音的原地升级,语音名和 API 调用不变,已有应用无需改代码,价格也保持不变。升级后目录共 57 个生成式语音,覆盖 11 种语言、25 个地区,可用区扩展至 11 个 AWS Region。
推荐理由:原文给出语音数量、语言覆盖和免改代码的替换式升级方式,读者可据此评估迁移成本与适用场景。
该方案将 82M 参数的 TTS 模型 Kokoro-82M 以自定义容器部署到 Amazon SageMaker AI 实时端点,用实测数据替代猜测的自动扩缩容目标。
IBM Granite 团队发布 Granite Speech 5.0 系列更新:新模型 granite-speech-5.0-2b 与更新版 granite-speech-5.0-470m-turboctc、granite-speech-4.1-2b-plus,分别面向高精度多语转写翻译、端侧高速转写和多说话人录音。
推荐理由:三个模型分别覆盖高精度转写、端侧极速转写和多说话人归因场景,读者可按企业需求直接选型。
Mistral AI 发布 Voxtral 3 语音模型家族与语音智能体 SDK,覆盖语音识别、语音合成与实时对话全链路。
推荐理由:原文给出各模型定价、基准对比与自部署选项,读者可直接评估其替代现有语音方案的可行性。
Deepgram 与 AWS FDE 团队合作,将 Nova-3 语音转文字模型移植到 AWS Trainium2,在单个 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,离线批处理工作负载每美元可多处理 11–70% 的音频。
IBM Granite 团队发布 Granite-Switch-4.1-8B 与 -30B,将通用 Decision aLoRA、安全决策 Guardian aLoRA 和 OpenASR 榜单上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC 组合进一个托管端点。
推荐理由:原文给出用 aLoRA 复用 KV cache 在单一端点组合多种能力的做法,读者可迁移到低显存多能力部署场景。
阿布扎比技术创新研究所(TII)发布 Falcon-ASR,一个 1.6B 参数的阿拉伯语语音识别模型,重点针对阿联蒂方言,同一套模型权重还支持英语、法语、西班牙语和葡萄牙语,无需指定语言。
AWS 发布指南,详解如何用 Amazon Bedrock AgentCore、Managed Knowledge Base 和 Nova Sonic 构建语音旅行礼宾。智能体基于 Strands Agents 与 MCP 对接后端,实现语音查航班、改座位与转接人工。系统各层可独立扩展,并提供含合成数据的示例航空后端。
Hugging Face 推出 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与语音克隆模型。榜单以 Qwen3 ASR 转写计算 WER/CER 衡量可懂度,以 RTFx 和 TTFA 衡量 H200 GPU 上的批量推理与流式延迟,并以 WavLM 嵌入余弦相似度衡量说话人相似度,把单个模型评测从数周缩短到数小时。
推荐理由:原文对比了人工偏好竞技场与客观指标评测,说明新榜单用 WER、RTFx、TTFA 和说话人相似度补齐开源 TTS 评测的缺口。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将近实时视频生成与语音结合,为 Gemini 实时对话模型增加能看、能听、能说的动态虚拟形象。该功能今天起在 Gemini Enterprise 可用,支持后台异步工具调用、97 种语言间的无缝语音同步切换,以及基于参考图像定制品牌虚拟形象,所有音视频输出均带 SynthID 水印。
推荐理由:原文列出了实时视觉形象、后台异步工具调用与 97 种语言同步能力,读者可据此评估企业级虚拟客服的落地方式。
Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色 voice 设计与逐句表演控制,后者面向高并发、低成本的配音与语音智能体场景。
推荐理由:两款模型分别面向创意配音与高并发场景,并给出语音复制的同意验证与 SynthID 水印机制,便于评估合规接入。
Google DeepMind 发布 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking 两款近实时语音对话模型,前者主打规模与成本效率,后者面向高复杂度任务的多步推理。
推荐理由:原文给出两款模型在语音对话质量榜和多项 agent 基准上的具体得分,并说明开发者与企业的分阶段获取入口,可据此评估落地成本。