Google Duplex 如何演进为在 Gemini 中替你拨打商家电话
Google Research 本周在 Gemini App 的 Tasks 中上线 Duplex,让智能体替用户拨打商家电话并处理真实世界请求。文章回顾其十年架构演进,从闭域 RNN 模型、LaMDA 混合栈走向完全由 Gemini 统一的对话栈,并说明亚秒级延迟与嘈杂声学环境等实时电话技术难点。
推荐理由:文章回顾 Duplex 十年架构演进,读者可从中理解实时语音智能体在低延迟与对话节奏上的工程难点。
技术方向
AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。
29 条精选近 30 天 19 条共收录 212 条
Google Research 本周在 Gemini App 的 Tasks 中上线 Duplex,让智能体替用户拨打商家电话并处理真实世界请求。文章回顾其十年架构演进,从闭域 RNN 模型、LaMDA 混合栈走向完全由 Gemini 统一的对话栈,并说明亚秒级延迟与嘈杂声学环境等实时电话技术难点。
推荐理由:文章回顾 Duplex 十年架构演进,读者可从中理解实时语音智能体在低延迟与对话节奏上的工程难点。
OpenAI 宣布向开发者开放 GPT-Live-1.1 API 语音模型,第三方应用可集成全双工实时语音交互能力。该模型为 GPT-Live-1 升级版,能识别说话中的停顿、打断与语速变化,并可将推理或工具调用任务委托给开发者指定的后端模型,对话无需中断。GPT-Live-1.1 自 2026 年 10 月 15 日起已是 ChatGPT Plus 及更高级订阅的默认语音模型。
推荐理由:原文讲清了全双工语音交互与后端模型委托的结合方式,开发者可据此判断现有语音方案是否值得替换。
Amazon Polly 语音克隆现已正式可用(gated release),只需几分钟的说话人录音即可生成专属克隆语音,运行在 Amazon Polly 生成式引擎上。
推荐理由:原文给出从录音、建声到合成的完整接入方式与配额限制,读者可据此评估把定制品牌语音接入现有应用的改造量。
ChatGPT 宣布新增实时听写功能,用户对着麦克风说话时语音同步转成文字,不必等录音结束再转写。该功能将陆续向全球所有用户开放,覆盖网页版、桌面客户端及 iOS 和 Android 应用,同时取消原有 10 分钟时长限制。录音结束后可直接在输入框中编辑转写文字。
推荐理由:原文给出了实时听写的使用方式、开放范围和时长限制取消,读者可据此判断它能否替代现有语音输入工作流。
微软 AI 在 Ignite 大会一次性发布七款自研 MAI 模型,覆盖代码、安全、图像、语音和路由,主打性价比,对标合作伙伴 OpenAI 的产品线。MAI Code 2 在四项基准上达到 GPT-6.1 Sol 约 98% 的表现、成本为其 40%;MAI Cyber 2 Flash 在 CyberGym-E2E 上得分超过 GPT-6 Astra,每任务成本不到其 2%。
推荐理由:原文逐项列出七款 MAI 模型与 OpenAI 对应模型的基准得分和价格对比,读者可据此评估自建与外部调用的成本取舍。
Rumble-2-Flash 是 Reson8 发布的 0.5B 参数语音识别模型,支持 40+ 语言并自动检测语种,已以 Apache 2.0 协议开源,原生兼容 🤗 Transformers 与 vLLM。
推荐理由:原文给出 0.5B 语音模型与 30B 模型的基准对比,以及跨分词器的 on-policy 蒸馏方法,可作为小模型压缩的参考路径。
DeepSeek 宣布正式开放全家桶应用 API,联网搜索、文件上传、链接阅读、OCR、ASR、TTS 等能力均有独立接口,支持单独调用、分别计费,V4.1-Flash 已在 Messages、Responses 和 Chat Completions 三类接口下支持相关对话扩展功能。
推荐理由:原文列出各独立接口的调用方式与价格对比,开发者可据此估算语音、搜索类应用的接入成本。
Meta 的 AI 智能体 Muse 现在可以代用户拨打美国商家电话,该功能 9 月测试后已向美国所有付费 Muse 订阅用户开放。Meta AI 负责人 Alexandr Wang 称 Muse 用户已超过 1000 万,可代打有线电视公司、车管所和餐厅等繁琐电话,很快还会获得免费邮箱地址。
推荐理由:原文既给出 Muse 通话功能的开放范围,也指出商家挂断 AI 的现实阻力,读者可据此判断智能体语音能力的实际落地边界。
微信输入法上线「AI 录音笔」功能,免费且无需额外硬件,录音时即可边听边总结,并生成会议摘要、流程图和责任分工。整理结果可生成链接分享给未安装的同事,关联设备间还能同步历史记录。不足之处是需要手动开启、无法与微信语音通话同时录音,相比系统级通话录音还不够无感。
推荐理由:原文把免费的 AI 录音笔与 Plaud 等专用硬件和手机系统级通话录音做了对比,读者能据此判断哪种记录方案更适合自己。
作者用 DeepSeek Harness 插件以纯代码程序化渲染完成一部 3 分 54 秒中文科普片,核心做法是先逐句合成旁白、用实测 PCM 时长驱动时间轴,每帧作为纯函数保证可复现,再配四层质检。
推荐理由:作者给出了可迁移的工程方法,用实测音频时长驱动时间轴、帧作纯函数、分层质检,让程序化视频可复现可验收。
AI 编程工具 Cursor 于 11 月 6 日宣布推出“与智能体实时语音聊天”功能,开发者可用语音与编码智能体双向对话,口头描述代码修改需求并询问任务进展,同时智能体在后台继续编码。
推荐理由:原文对比了语音听写与双向语音聊天的差别,并给出入口、语音选择与隐私设置,读者可据此判断它能否并入现有编码工作流。
国行 Apple 智能随 iOS 27.3 开发者预览版开放测试,写作工具、照片消除、实时翻译等功能先在 iPhone 上启用,Siri 接入千问处理复杂请求、百度负责识图搜索。
推荐理由:作者第一时间实测国行 Apple 智能首批功能,逐项给出可用机型、启用入口与实际表现,读者可据此判断是否尝鲜。
Apple 在 iOS 27.3 更新中允许 Siri AI 跨第三方应用执行操作,开发者可将 Siri AI 的个人上下文、自然语言提示词处理和屏幕感知能力整合进“所有应用”。
推荐理由:相比此前仅开放有限能力,本次更新让 Siri AI 能跨第三方应用完成任务,读者可据此评估其对现有语音交互工作流的影响。
苹果面向 iPhone 推送首个 iOS 27.3 开发者预览版,为国行用户带来「Apple 智能与 Siri」,首批上线实时翻译、写作工具、视觉智能、图片消除、智绘表情和通知摘要等功能。
推荐理由:原文逐项列出首批功能的设备门槛与启用条件,读者可据此判断自己的机型能否用上这些能力。
mattt 在 Hugging Face 博客发布两个开源 Swift 包 AnySpeechRecognizer 与 AnyDecisionModel,均可从 Hugging Face Hub 下载开源模型并在设备本地运行。
推荐理由:原文把两个 Swift 包的 API 设计、可选模型与基准数据列得较细,读者可据此评估能否在 Apple 端替换现有语音与决策方案。
英伟达 10 月 28 日推出开放权重语音转录模型 Nemotron 3.5 Transcribe,并公开训练数据管线 Granary v2。模型采用 MoE 架构,总参数约 340 亿、激活参数约 43 亿,可处理最长 1 小时录音,支持 40 种语言转录,最多区分 8 名说话人,整合转录、说话人归属、翻译和音频问答。
推荐理由:原文给出公开评测词错误率与说话人分离基准成绩,读者可据此比较它与同类开源转录模型的能力边界。
NVIDIA 宣布 RTX Spark 笔记本迎来多项更新,覆盖新模型、Agent 工具与游戏。Nemotron 3.5 Transcribe 是约 4.3B 活跃参数的开放权重语音模型。
推荐理由:原文把 RTX Spark 的硬件能力落到语音模型、Agent 资源调度和游戏生态三条线上,读者可据此评估端侧 AI 的实际使用场景。
Google Research 回顾了其结核病筛查 AI 从论文到临床落地的路径,与 Nexus AI 合作的胸片工具获 CE MDR IIb 认证,在六国约 40 家机构评估超 25,000 张胸片,周转时间从数周缩至 45 秒以内。
推荐理由:原文梳理了从论文基准到 CE 认证临床工具的落地路径,读者可看到开放模型如何支撑各国本地化医疗部署。
Amazon Polly 生成式引擎升级,提供更自然、更准确且低延迟的语音输出,新增覆盖 9 个地区的 14 个语音,印地语和芬兰语生成式语音首次正式可用。这是现有生成式语音的原地升级,语音名和 API 调用不变,已有应用无需改代码,价格也保持不变。升级后目录共 57 个生成式语音,覆盖 11 种语言、25 个地区,可用区扩展至 11 个 AWS Region。
推荐理由:原文给出语音数量、语言覆盖和免改代码的替换式升级方式,读者可据此评估迁移成本与适用场景。
IBM Granite 团队发布 Granite Speech 5.0 系列更新:新模型 granite-speech-5.0-2b 与更新版 granite-speech-5.0-470m-turboctc、granite-speech-4.1-2b-plus,分别面向高精度多语转写翻译、端侧高速转写和多说话人录音。
推荐理由:三个模型分别覆盖高精度转写、端侧极速转写和多说话人归因场景,读者可按企业需求直接选型。