跳到正文

技术方向

语音与音频 最新动态

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

29 条精选近 30 天 19 条共收录 212 条

更新

语音与音频的精选

11月21日周六第 1–20 条
  1. Google Research76

    Google Duplex 如何演进为在 Gemini 中替你拨打商家电话

    Google Research 本周在 Gemini App 的 Tasks 中上线 Duplex,让智能体替用户拨打商家电话并处理真实世界请求。文章回顾其十年架构演进,从闭域 RNN 模型、LaMDA 混合栈走向完全由 Gemini 统一的对话栈,并说明亚秒级延迟与嘈杂声学环境等实时电话技术难点。

    推荐理由:文章回顾 Duplex 十年架构演进,读者可从中理解实时语音智能体在低延迟与对话节奏上的工程难点。

11月20日周五
  1. IT之家81

    OpenAI 开放 GPT-Live-1.1 API:支持实时双向对话,智能体可边聊天边处理复杂任务

    OpenAI 宣布向开发者开放 GPT-Live-1.1 API 语音模型,第三方应用可集成全双工实时语音交互能力。该模型为 GPT-Live-1 升级版,能识别说话中的停顿、打断与语速变化,并可将推理或工具调用任务委托给开发者指定的后端模型,对话无需中断。GPT-Live-1.1 自 2026 年 10 月 15 日起已是 ChatGPT Plus 及更高级订阅的默认语音模型。

    推荐理由:原文讲清了全双工语音交互与后端模型委托的结合方式,开发者可据此判断现有语音方案是否值得替换。

  2. AWS Machine Learning Blog64

    Amazon Polly 推出语音克隆功能:为品牌打造专属声音

    Amazon Polly 语音克隆现已正式可用(gated release),只需几分钟的说话人录音即可生成专属克隆语音,运行在 Amazon Polly 生成式引擎上。

    推荐理由:原文给出从录音、建声到合成的完整接入方式与配额限制,读者可据此评估把定制品牌语音接入现有应用的改造量。

11月19日周四
  1. IT之家77

    ChatGPT 新增实时听写功能:对着麦克风说话语音即时变文字

    ChatGPT 宣布新增实时听写功能,用户对着麦克风说话时语音同步转成文字,不必等录音结束再转写。该功能将陆续向全球所有用户开放,覆盖网页版、桌面客户端及 iOS 和 Android 应用,同时取消原有 10 分钟时长限制。录音结束后可直接在输入框中编辑转写文字。

    推荐理由:原文给出了实时听写的使用方式、开放范围和时长限制取消,读者可据此判断它能否替代现有语音输入工作流。

  2. The Decoder81

    微软 AI 在 Ignite 发布七款自研 MAI 模型,以更低成本替代外部 AI 模型

    微软 AI 在 Ignite 大会一次性发布七款自研 MAI 模型,覆盖代码、安全、图像、语音和路由,主打性价比,对标合作伙伴 OpenAI 的产品线。MAI Code 2 在四项基准上达到 GPT-6.1 Sol 约 98% 的表现、成本为其 40%;MAI Cyber 2 Flash 在 CyberGym-E2E 上得分超过 GPT-6 Astra,每任务成本不到其 2%。

    推荐理由:原文逐项列出七款 MAI 模型与 OpenAI 对应模型的基准得分和价格对比,读者可据此评估自建与外部调用的成本取舍。

11月18日周三
  1. Hugging Face Blog68

    Rumble-2-Flash 开源:支持 40+ 语言的 0.5B 语音识别模型

    Rumble-2-Flash 是 Reson8 发布的 0.5B 参数语音识别模型,支持 40+ 语言并自动检测语种,已以 Apache 2.0 协议开源,原生兼容 🤗 Transformers 与 vLLM。

    推荐理由:原文给出 0.5B 语音模型与 30B 模型的基准对比,以及跨分词器的 on-policy 蒸馏方法,可作为小模型压缩的参考路径。

11月14日周六
  1. 量子位86

    DeepSeek 开放全家桶应用 API,新增语音识别与合成接口

    DeepSeek 宣布正式开放全家桶应用 API,联网搜索、文件上传、链接阅读、OCR、ASR、TTS 等能力均有独立接口,支持单独调用、分别计费,V4.1-Flash 已在 Messages、Responses 和 Chat Completions 三类接口下支持相关对话扩展功能。

    推荐理由:原文列出各独立接口的调用方式与价格对比,开发者可据此估算语音、搜索类应用的接入成本。

11月13日周五
  1. The Decoder80

    Meta Muse 智能体可代用户拨打美国商家电话,但许多商家会直接挂断

    Meta 的 AI 智能体 Muse 现在可以代用户拨打美国商家电话,该功能 9 月测试后已向美国所有付费 Muse 订阅用户开放。Meta AI 负责人 Alexandr Wang 称 Muse 用户已超过 1000 万,可代打有线电视公司、车管所和餐厅等繁琐电话,很快还会获得免费邮箱地址。

    推荐理由:原文既给出 Muse 通话功能的开放范围,也指出商家挂断 AI 的现实阻力,读者可据此判断智能体语音能力的实际落地边界。

11月9日周一
  1. 爱范儿76

    微信 AI 录音笔体验:手机都能装的办公神器,免费!

    微信输入法上线「AI 录音笔」功能,免费且无需额外硬件,录音时即可边听边总结,并生成会议摘要、流程图和责任分工。整理结果可生成链接分享给未安装的同事,关联设备间还能同步历史记录。不足之处是需要手动开启、无法与微信语音通话同时录音,相比系统级通话录音还不够无感。

    推荐理由:原文把免费的 AI 录音笔与 Plaud 等专用硬件和手机系统级通话录音做了对比,读者能据此判断哪种记录方案更适合自己。

11月8日周日
  1. 博客园76

    视频是算出来的:DeepSeek Harness 零素材全代码生成视频插件

    作者用 DeepSeek Harness 插件以纯代码程序化渲染完成一部 3 分 54 秒中文科普片,核心做法是先逐句合成旁白、用实测 PCM 时长驱动时间轴,每帧作为纯函数保证可复现,再配四层质检。

    推荐理由:作者给出了可迁移的工程方法,用实测音频时长驱动时间轴、帧作纯函数、分层质检,让程序化视频可复现可验收。

11月7日周六
  1. IT之家76

    Cursor 推出智能体实时语音聊天功能

    AI 编程工具 Cursor 于 11 月 6 日宣布推出“与智能体实时语音聊天”功能,开发者可用语音与编码智能体双向对话,口头描述代码修改需求并询问任务进展,同时智能体在后台继续编码。

    推荐理由:原文对比了语音听写与双向语音聊天的差别,并给出入口、语音选择与隐私设置,读者可据此判断它能否并入现有编码工作流。

11月4日周三
  1. 少数派78

    国行 Apple 智能上手实测:首批功能、适配机型与实际体验

    国行 Apple 智能随 iOS 27.3 开发者预览版开放测试,写作工具、照片消除、实时翻译等功能先在 iPhone 上启用,Siri 接入千问处理复杂请求、百度负责识图搜索。

    推荐理由:作者第一时间实测国行 Apple 智能首批功能,逐项给出可用机型、启用入口与实际表现,读者可据此判断是否尝鲜。

  2. The Verge · AI80

    Apple 开始向第三方应用开放 Siri AI 能力

    Apple 在 iOS 27.3 更新中允许 Siri AI 跨第三方应用执行操作,开发者可将 Siri AI 的个人上下文、自然语言提示词处理和屏幕感知能力整合进“所有应用”。

    推荐理由:相比此前仅开放有限能力,本次更新让 Siri AI 能跨第三方应用完成任务,读者可据此评估其对现有语音交互工作流的影响。

  3. IT之家78

    国行 Apple 智能首批核心功能上线:AirPods 实时翻译登场,iPhone 可联手千问

    苹果面向 iPhone 推送首个 iOS 27.3 开发者预览版,为国行用户带来「Apple 智能与 Siri」,首批上线实时翻译、写作工具、视觉智能、图片消除、智绘表情和通知摘要等功能。

    推荐理由:原文逐项列出首批功能的设备门槛与启用条件,读者可据此判断自己的机型能否用上这些能力。

10月29日周四
  1. Hugging Face Blog67

    AnySpeechRecognizer 与 AnyDecisionModel 发布:Apple 平台语音与决策开源 Swift 包

    mattt 在 Hugging Face 博客发布两个开源 Swift 包 AnySpeechRecognizer 与 AnyDecisionModel,均可从 Hugging Face Hub 下载开源模型并在设备本地运行。

    推荐理由:原文把两个 Swift 包的 API 设计、可选模型与基准数据列得较细,读者可据此评估能否在 Apple 端替换现有语音与决策方案。

  2. IT之家78

    英伟达开源语音转录模型 Nemotron 3.5 Transcribe,支持 40 种语言、最多 8 名说话人

    英伟达 10 月 28 日推出开放权重语音转录模型 Nemotron 3.5 Transcribe,并公开训练数据管线 Granary v2。模型采用 MoE 架构,总参数约 340 亿、激活参数约 43 亿,可处理最长 1 小时录音,支持 40 种语言转录,最多区分 8 名说话人,整合转录、说话人归属、翻译和音频问答。

    推荐理由:原文给出公开评测词错误率与说话人分离基准成绩,读者可据此比较它与同类开源转录模型的能力边界。

10月28日周三
10月24日周六
  1. Google Research69

    Google Research 将基础模型推向结核病筛查前线

    Google Research 回顾了其结核病筛查 AI 从论文到临床落地的路径,与 Nexus AI 合作的胸片工具获 CE MDR IIb 认证,在六国约 40 家机构评估超 25,000 张胸片,周转时间从数周缩至 45 秒以内。

    推荐理由:原文梳理了从论文基准到 CE 认证临床工具的落地路径,读者可看到开放模型如何支撑各国本地化医疗部署。

10月23日周五
  1. AWS Machine Learning Blog60

    Amazon Polly 生成式引擎重大升级:新增 14 个语音,首次支持印地语和芬兰语

    Amazon Polly 生成式引擎升级,提供更自然、更准确且低延迟的语音输出,新增覆盖 9 个地区的 14 个语音,印地语和芬兰语生成式语音首次正式可用。这是现有生成式语音的原地升级,语音名和 API 调用不变,已有应用无需改代码,价格也保持不变。升级后目录共 57 个生成式语音,覆盖 11 种语言、25 个地区,可用区扩展至 11 个 AWS Region。

    推荐理由:原文给出语音数量、语言覆盖和免改代码的替换式升级方式,读者可据此评估迁移成本与适用场景。

10月21日周三
  1. Hugging Face Blog62

    IBM Granite Speech 5.0 发布:三款语音模型覆盖转写、翻译与说话人归因

    IBM Granite 团队发布 Granite Speech 5.0 系列更新:新模型 granite-speech-5.0-2b 与更新版 granite-speech-5.0-470m-turboctc、granite-speech-4.1-2b-plus,分别面向高精度多语转写翻译、端侧高速转写和多说话人录音。

    推荐理由:三个模型分别覆盖高精度转写、端侧极速转写和多说话人归因场景,读者可按企业需求直接选型。