LLM 驱动的自动化测试系列(13):Flaky Test 不是重跑几次就能解决的分类问题
本文对比了 flaky test 领域几类工具的根因判断能力:pytest-rerunfailures 与 flaky 只做失败重跑、不回答失败原因,DeFlaker 用 git diff 与代码覆盖率交叉验证区分失败是否与本次改动相关,pytest-triage 是唯一真正调用 LLM API 做根因分类的开源实现。
本文对比了 flaky test 领域几类工具的根因判断能力:pytest-rerunfailures 与 flaky 只做失败重跑、不回答失败原因,DeFlaker 用 git diff 与代码覆盖率交叉验证区分失败是否与本次改动相关,pytest-triage 是唯一真正调用 LLM API 做根因分类的开源实现。
独立游戏《Cantata》制作人 Kyle Kukshtel 总结了让 AI Agent 读懂游戏的八条架构原则:固定随机种子、用 odiff 做图像差分、单一 Fat Struct、命令模式、数据外部化、独立无头模拟内核以及 samply 纯文本性能分析。
推荐理由:原文把游戏对 LLM 不透明的症结拆成八条可落地的架构原则,非游戏项目也能照着改造自己的 Agent 工作流。
作者用 Pydantic AI 从零搭建了一个个人记账分析 Agent,它能读账单、算环比、拆分类、找异常,并返回结构校验过的 SpendingInsight 对象。
推荐理由:文章演示了用类型系统约束 Agent 输出与工具调用的完整做法,固定流程写进 Python、意图理解交给模型,思路可直接迁移到自己的数据场景。
TODO 机制帮助 Agent 拆解任务、记录状态并管理执行流程,解决长任务中因上下文增长导致的步骤遗漏问题。文章以 Claude Code 为例,对比了 TodoWrite 与 Task 两套方案:TodoWrite 是面向单会话的扁平检查清单,适合简单短期任务;Task 提供本地持久化、任务依赖管理和多 Agent 共享协作能力,适合复杂长期任务。
Python 数据科学与 AI 生态以 NumPy 的 ndarray 为统一数据表示,Pandas、scikit-learn、PyTorch 等各层库在其上协同,PySpark 与 Dask 负责集群级扩展。
少数派与作者 Tp 翻新了《学得会的快捷指令》栏目,基于 iOS 27 更新了 30% 以上的内容并新增 3 篇文章。栏目共 14 篇文章,从日常场景入手讲解快捷指令的核心模块与自动化用法,并新增快捷指令与 AI 结合的实战内容。11 月 15 日前购买可享 8 折上架优惠,老用户可免费获赠或以 3 折购买,少数派年度会员可免费阅读。
袋鼠云数栈前端团队设计实现了 Bugfix Agent,将禅道 Bug 修复横跨 Git 分支、GitLab MR、CI 和 OMP 部署的多系统动作,固化为可恢复、可审核、不确定时暂停的工作流。
本文拆解了多模型 Agent 中模型路由的工程设计,归纳 LangChain、AWS、OpenRouter、NVIDIA 和 Portkey 等团队的实践思路。
Simon Willison 用 Claude iPhone app 向 Claude Opus 5.5 Max 提示构建一款 three.js 找差异游戏,Claude 运行 3 小时 7 分钟后返回了《Tree Appreciator》。
用 Amazon Bedrock AgentCore 可搭建智能体式文档处理系统:智能体自动分类、抽取、校验业务文档并从纠正中学习,无需为每种版式手动配置模板。
Third Moment Research 借助 GPT-6 Astra、GPT-6.1 Sol、Codex 以及面向网络安全的 Daybreak,构建能连续多天保持专注并随使用不断改进的智能体。该实验室目前可让 10,000 个智能体持续运行 36 小时以上。
Tamnoon 基于 Amazon Bedrock 构建了智能体云修复编排器 Tami,自主调查 CNAPP 及云原生来源的安全发现并编排修复,90 天内关键云暴露减少超 90% 且零生产事故。
基于 Amazon Bedrock AgentCore 的 AI 智能体系统可将季度报告、合规文件等企业文档自动生成客户演示文稿,内部测试 90 秒内完成。
Amazon SageMaker JumpStart 提供海量预训练模型,可用 SageMaker Python SDK 部署模型、运行示例提示词测量延迟与单请求生成速率,并在测试完成后删除端点。
作者从认知心理学和神经科学角度解释播客剪辑中的常见问题,指出语音信号在物理上是连续、相互渗透且千差万别的,大脑靠类别知觉、统计学习和上下文预测把它听成完整词句。文章据此给出建议:在接近中线的低振幅位置下剪、前后微调剪辑点或加短淡入淡出来避免爆音;替换口误尽量整句替换而非单个词,口癖、停顿和呼吸不要全删,保留发音冗余和小瑕疵往往更自然。
少数派众测获奖文章认为,1.3kg 的 Sonos Play 便携音箱让音乐摆脱固定位置,自由流动到家中每个角落。它具备 IP67 防护、最长 24 小时播放与自动 Trueplay,配合 Sonos 27 app 在打扫、厨房、浴室等场景显著优于原有的 HomePod Mini。
用 Python 3.15 内置的 `profiling.sampling` 对未修改的 web-edit 应用做性能分析,发现混合行尾保留主导了繁忙的编辑工作负载。
Anthropic 自建了名为 Scion 的源代码管理系统和名为 Antique 的代码审查系统,直接原因是代码合并速度大幅提升:2026 年 5 月日均约 2,500 次合并,到 9 月已超过每日 30,000 次。
AWS 官方博客介绍 Anchor Browser 与 Amazon Bedrock AgentCore payments 的集成,让 AI 智能体遇到 HTTP 402 付费墙时按 x402 协议自动完成支付并继续任务。
推荐理由:原文把智能体支付栈从运行时移到托管基础设施的方案讲清楚,读者可据此理解 x402 机器对机器支付的落地方式。
Amazon Bedrock 的托管权益支持从中心账户一次性订阅第三方 AI 模型,并将访问权限分发到组织内各账户。
GitHub 上线了基于微调 ModernBERT 分类器的新密钥扫描管线,替代原有 LLM 管线。新管线采用正则候选生成加上下文感知分类的两阶段设计,模型导出为 ONNX 并做 8-bit 量化。
推荐理由:原文给出用小型微调编码器替代 LLM 调用的完整管线与量化结果,可迁移到其他低延迟的文本判定场景。
AWS 介绍了在 Amazon SageMaker AI 上为 fused MoE 模型实现的多项内核优化。Swap-AB 技术通过转置矩阵乘法匹配 Hopper WGMMA 硬件布局,在 H200 上带来 2–4% 的端到端吞吐提升,并已上游至 vLLM 0.24.0 及以上版本。
AWS 机器学习博客演示在 Amazon Bedrock 上用 Grok 4.7 构建工具调用智能体,并在三个需搜索而非查询的任务上逐档评测推理强度。72 次运行答对 67 次,xhigh 全部答对,low 以约八分之一的输出 token 答对 15/18 次。文章还给出按请求选档、用输出 token 与工具调用数做生产监控的可迁移方法。
ShipStation Global 基于 Amazon Bedrock AgentCore 构建了 Slack 内的 AI IT 帮助台智能体 Deckhand,可回答常见 IT 与公司问题、读取错误截图并创建和更新 Jira Service Management 工单。
Orca Security 与 AWS 合作构建了基于 Amazon Bedrock 的自然语言查询智能体 Discovery AI,可将自然语言问题转换为 Sonar 查询。相比初始基线,其查询成本降低 90%、输入 token 减少 93%、延迟降低 75%。该系统现每天处理数千次查询,响应时间约 15 秒,覆盖 900 多种云模型。
Geoffrey Huntley 表示,如果智能体不用他的诊断库,与其更新 AGENTS.md(仍会有偏差并漂移),不如写一个 pre-commit hook 检查 git diff 中绕过诊断模块直接调用可观测性模块的代码,让提交失败并注入提示词要求智能体改用诊断库,效果十次有十次。他还表示现在已经不应该再手写代码了。
GitHub 官方博客讲解了四种让 Copilot 掌握项目规则的方式:在 .github/copilot-instructions.md 中写自定义指令、把可复用流程打包成 agent skills、用 .github/agents 中的自定义智能体处理跨文件任务,以及通过 MCP 服务器连接 Playwright 等外部工具。
AWS 官方博客介绍如何用多节点 Ray LLM Deep Learning Containers 在 Amazon EKS 上把一个大语言模型部署到两个 GPU 节点,一个节点负责 prefill、另一个负责 decode,共同暴露一个 OpenAI 兼容端点。
AWS 演示在 Amazon SageMaker AI 上通过 AWS DLC for llama.cpp 部署量化决策模型,同一运行时既支持 OpenAI 兼容的 chat completions,也可经 SemIf(原 OpenJev)直接返回各候选选项的概率。
作者在一台 256GB 统一内存的 M5 Ultra Mac Studio 上安装了开源的 Hermes Agent,并运行 125B 参数、约 105GB 大小的 Qwen 3.8 Flash Next,开始本地 AI 体验之旅。
Latent Space 专访 Standard Bots 联合创始人兼 CEO Evan Beard 与 AI 负责人 Leif Jentoft,介绍其工业机器人 AI 技术栈。
Postman 在 Amazon Bedrock 上运行 Agent Mode,为 4000 万开发者提供覆盖 API 测试、文档、发现与实现的 AI 智能体能力。
推荐理由:文章给出了把智能体嵌入成熟产品时可复用的工程模式,如动态裁剪工具集、用 schema 读取代替工具泛滥。
Ai2 用 GPU 时间预算、分层公平份额分配和时间切片契约取代了基于优先级的调度器,把各研究项目 GPU 时间多少的争论从逐案运营任务转为透明的行政预算流程。Ai2 管理数千张 NVIDIA H100、B200 和 B300 GPU,服务约 150 名内部研究员,未满足的 GPU 需求随时达到可用量的 2-3 倍。旧的优先级调度导致了 GPU "占坑"、优先级通胀等"公地悲剧"问题。
Simon Willison 今天为博客上线了 Newsletters 页面,该功能几乎全部通过 ChatGPT 桌面应用 Codex 标签页的语音对话模式完成,模型为 GPT-6 Astra High。
LegalOn 将每日 Codex 估算成本降低 65%,同时保持开发速度。其做法是将 Astra、Sol 和 Luna 与任务相匹配,并进行策略性的预算管理。
作者在 HuggingChat 中开启 ML-intern 模式,用自然语言描述需求,几天内做出六个自定义小模型,总计算成本约 103 美元。
推荐理由:作者用六个总成本约 103 美元的项目,总结了给智能体设预算、要基线、做冒烟测试的可复用方法。
开发者正将 GPT-6 Astra、GPT-6 Sol 与 Claude Code 等前沿模型接入 NVIDIA Omniverse 库,驱动 AI 智能体构建数字孪生、机器人与 VR 仿真。
AWS 给出 Amazon SageMaker HyperPod 的多租户参考架构,让多团队共享同一 EKS 集群时仍保持工作负载隔离与资源公平。
AWS 官方博客演示用 AWS Lambda Durable Functions、Amazon EventBridge 和 Amazon Bedrock 为 AWS DevOps Agent 补上自动修复环节,把调查摘要变成经一次审批即可执行的修复。
Qlik 基于 Amazon Bedrock 构建企业级 AI 助手 Qlik Answers,为全球 40,000 多家客户提供带来源、可验证的问答能力。自 2026 年 2 月正式上线以来,其 Discovery Agent 已为客户呈现超过 100,000 项发现。