Promptfoo 从安装到跑通:LLM 评测与红队测试实测教程
本文以智谱 GLM-5.3 为演示环境,完整走通开源工具 Promptfoo 从安装、基础评测到红队测试的配置流程。核心命令是 eval 跑评测、view 看报告、redteam 做安全扫描,评测配置由 prompts、providers、tests 三块 YAML 组成,同一份测评集可让多个模型并排对比。
本文以智谱 GLM-5.3 为演示环境,完整走通开源工具 Promptfoo 从安装、基础评测到红队测试的配置流程。核心命令是 eval 跑评测、view 看报告、redteam 做安全扫描,评测配置由 prompts、providers、tests 三块 YAML 组成,同一份测评集可让多个模型并排对比。
LLM 0.37.3 为 bug 修复版本,主要修复 Homebrew 升级到 SQLite 3.54.1 后 LLM 日志记录代码失效的问题。SQLite 3.54.1 修正了 (SELECT json_array(...)) 应返回 SQL text 而非 JSON 的行为,3.54.0 的旧输出实为 bug。
黄仁勋辞去英伟达CEO后,一份要求其复职的请愿书已征集超过115,000个签名,签名者包括马斯克、多位英伟达研究员以及 Hugging Face、a16z 和红杉资本高管。开源AI阵营视黄仁勋为政策代言人,但前OpenAI研究员Will DePue关于中国公司获得英伟达Blackwell芯片远超预期的研究,以及美国商务部限制远程调用芯片训练模型的新规,可能同时冲击该运动的声誉与技术进展。
推荐理由:文章揭示了开源AI运动力挺黄仁勋背后的资本与商业利益,并指出美国商务部新规可能放缓开源模型的技术进步。
FBI 警告黑客正使用开源自主 AI 攻击工具 Artex 在美国和全球发动网络攻击,部分攻击从定位系统到实际攻破不到三小时。
UC Berkeley 与 Microsoft Research 等团队发布开源插件 TokenEconomizer,它从智能体在代码仓库的历史会话中学习,在不修改智能体或底层模型的前提下降低后续会话成本。
推荐理由:论文给出了一套不改动模型即可复用的经验式成本控制方法,读者可迁移到自己的编码智能体工作流。
Hugging Face 将 Inference Providers 的语言模型路由切换至 OpenRouter,用户用 Hugging Face token 即可通过统一 API 调用服务商托管的开放权重模型。
推荐理由:原文同时给出路由切换细节和开放权重模型使用占比数据,读者可据此评估统一推理入口对现有工作流的影响。
NVIDIA 扩展 CUDA-X 库,为 AI 智能体提供工具,加速从天体物理、材料科学到单细胞生物学的科学发现。cuPhoton.xBeam 将黑洞观测数据分析从一个月以上缩短至 8 分钟,cuPotential 将分子模拟提速至 3x。新开源的 cuSpa 相比 CPU 提速 900x,Daviator 将量子力学计算提速至 22x、成本降低至多 75%。
张善友将 Go 编写的 AI 网关 AxonHub 移植为行为等价的 .NET 10 版本 axonhub.net,并用 Orleans 的 actor 模型重建其并发内核,承载渠道选路、限流、OAuth 令牌刷新等有状态协调点,而 HTTP 接入与流式转发仍走普通 ASP.NET Core 管线。
本项目以全 CPU 方式轻量化复刻 KIMI K3 的 Multi-Token Prediction(MTP)训练层,并将其微调为 EAGLE-3 草稿模型用于投机解码。
本期《派评》盘点 Dalibre、CN41P、Cineica、Pinky 与 Screens 5.10 等应用。Dalibre 内置 MCP 服务,让 Claude、Cursor 等 AI Agent 直接管理本地 Calibre 书库;Pinky 通过硬编码隔离付款、删除等高危操作,让移动端 Agent 更安全。
Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2,并启动 IPO 路演,拟募资约 561 亿~625 亿美元。黄仁勋辞任英伟达 CEO,Google 推出 Gemini 4 Hydrogen 与 Decision 1,Meta 发布 Muse Ember,llama.cpp 迈入 v1.0.0。
华为云在 CloudRobo 具身世界模型发布会上发布并开源昇腾原生具身世界模型 CloudRobo-WM1.2。该模型基于昇腾算力训练,采用 PPA 多模态世界表征架构与世界模型原生 DualAct 架构等五项创新,据介绍在 RoboTwin 2.0、LiberoPro 2.0 两项基准中均排名第一。
据金融时报爆料,因婚外情风波辞职不到几天的黄仁勋已在探讨重返英伟达任 CEO,硅谷高管连夜组建「作战室」向董事会施压,「把老黄请回来」请愿网站签名冲破 16 万,马斯克、Tim Sweeney、Amjad Masad、Garry Tan 等实名站台。
推荐理由:原文把 16 万签名、硅谷盟友和东亚供应链信任三条线串在一起,读者能看清这场回归博弈背后真正的筹码是什么。
Simon Willison 发布 Datasette 新地理空间插件 datasette-maplibre 0.1a0,结合 MapLibre GL 与 OpenFreeMap 矢量地图服务。
Keploy 是一个开源接口测试工具,不写用例,先跑业务把真实接口流量录下来,自动生成可回放的测试用例和依赖 Mock,回放时无需真实环境和数据库。项目 2022 年初开源,19.8K star,Apache-2.0 协议,Go 语言编写,两天前刚发布 v3.7.3,已进入 CNCF Landscape 名录。
作者anye1991拆解了其开源的 YSL语枢-盾甲WAF,核心机制包括 14 层归一化链压缩变形载荷、YSL 语枢加权裁决把 AI 判断纳入多源投票、C2 中枢管理攻击生命周期并回灌情报,以及 DNA 防线默认不信任未知文件以拦截 WebShell。
华为云 MaaS 模型即服务平台上线开源盘古模型 openPangu-2.1-Pro,围绕 Agent 开发、AI 编码和推理优化三大方向升级。模型基于 10 万余条专项数据优化 Skills 触发、工具选择与调用,并针对鸿蒙 App 开发和昇腾算子生成做适配。
Agent Router(前身为 Envoy AI Gateway)是面向 AI 与 Agent 流量的开源控制面,由 Envoy 承载,把路由、凭证、配额、故障切换和用量归因收拢到统一网关层,同时提供 OpenAI 兼容入口并支持 MCP Server。
本文逐模块拆解 Moonshot AI(Kimi 团队)开源的专家并行通信库 MoonEP 源码,并给出 CPU 教学实现。
本篇为手搓 Agent 补齐两种记忆:短期记忆在历史轮次超阈值时自动摘要旧轮次、仅保留最近 6 个用户轮原样以防上下文溢出;长期记忆经 remember / recall 工具把事实落盘文件,并每轮将相关事实注入 system 提示,实现跨会话记忆。
一位大一新生通过 vibe coding 搭建了把 HTML/Markdown 博客内容转成可打印、可批注 Typst PDF 的转译器,管道由归一化(基于 all2md)、LLM 语义化生成 AST、Typst 渲染、6 项硬指标自检和"全有或全无"发布五个环节组成,LLM 仅参与语义化并用 schema 校验防止幻觉。
Magpie 是一个本地网关加菜单栏应用,它读取 Claude Code、Codex、GitHub Copilot 等编码 Agent 已登录的订阅,统一暴露成一个本机网关,让所有 Agent 共享订阅资源。
Datasette 中间插件 datasette-llm 发布 0.1a11,新增对 OpenAI 兼容端点的支持,可配置任何遵循该协议的 LLM。
SailFlow 是基于 Slickflow 二次改造、MIT 协议开源的可插拔中国式 OA 工作流引擎,面向 .NET 6 / 8 / 10,专攻加签、抢办、退回返送等国内审批场景。
DeepSeek 宣布正式开放全家桶应用 API,联网搜索、文件上传、链接阅读、OCR、ASR、TTS 等能力均有独立接口,支持单独调用、分别计费,V4.1-Flash 已在 Messages、Responses 和 Chat Completions 三类接口下支持相关对话扩展功能。
推荐理由:原文列出各独立接口的调用方式与价格对比,开发者可据此估算语音、搜索类应用的接入成本。
美国一名 AI 爱好者借助 Claude 和 Arduino Nano 开发板,让一辆 32 年车龄的 1994 款 Jeep 切诺基通过加州尾气检测。Claude 查明车辆使用克莱斯勒 SCI 串行通信总线并完成大部分诊断,Codex 将自定义代码写入 EEPROM 芯片直接运行,全部电子元件成本不超过 15 美元。
Runway 以 Apache 2.0 许可开源发布机器人控制模型 Praxis-1 的权重与源码,允许商业使用;该模型先从普通视频学习物体运动规律,再用人类动作与机器人数据微调,输入相机图像、文本指令和机器人状态即可输出控制动作。
作者罗西的思考开源 Model-Viz 项目中的 Kimi K3 Stable LatentMoE 轻量化复刻,提供 12 个纯 CPU 可运行的 Gradio 交互 Tab,覆盖论文 §2.3 与附录 B/C/D。
AgentScope-Java 是阿里巴巴开源的 Java 智能体开发框架,让 Java 开发者无需切换到 Python 即可构建生产级 AI Agent 应用。框架提供轻量的 ReActAgent 和封装工作区、长期记忆、沙箱等工程能力的 HarnessAgent 两种入口,支持 @Tool 注解注册工具、文件驱动的多 Agent 协作以及 MCP 协议工具接入,并可切换状态后端实现分布式部署。
Georgi Gerganov 宣布开源推理项目 llama.cpp 与底层张量库 ggml 的库版本迈入 1.0.0,已支持超过 150 种模型架构变体及主流推测解码方法,可在断网环境下本地运行大模型。
前 OpenAI 研究员 Will DePue 发布分析称,2026 年 4 月以来发布的六个中国模型权重中留有 Nvidia Blackwell 芯片的初始化指纹,验证代码已公开在 GitHub。
推荐理由:原文解释了如何通过模型权重的初始化指纹反推训练所用 GPU,并附验证代码与 24 个对照模型的结果。
DeepSeek 宣布正式开放全家桶应用 API,在原有 API 中开启对应参数即可获得深度思考搜索、文件输入等对话功能,开发者可 1:1 复刻完整 DeepSeek App。
同一新闻,精选展示《DeepSeek 开放全家桶应用 API,新增语音识别与合成接口》
llama.cpp 正式发布库 v1.0.0,同时 ggml 也发布 v1.0.0,标志着这一跨平台本地推理项目进入 API 稳定阶段。今后 llama.cpp 和 ggml 将通过主版本号反映公共 C API 和 ABI 的不兼容变更,并遵循语义化版本规则。
推荐理由:v1.0.0 明确了 API 和 ABI 稳定性承诺,依赖 llama.cpp 的下游应用可以据此规划升级与集成。
这篇梳理文章拆解了月之暗面 Kimi K3 的 Stable LatentMoE 架构:以"下潜→稀疏路由→上潜"把专家算力落到潜空间,实现 896 路选 16 且全程稳定。
openJiuwen 发布 RSI 原生 AgentOS,为递归自我改进提供运行环境,Agent 可把新功能打成扩展包,热插拔装进 WorkSwarm 成为系统插件,按任务反馈持续修改。
无界前沿正式开源生物信息大模型 Fx-Bio-1031 并开放完整模型权重。据其评测,该模型在 Anthropic BioMysteryBench 困难子集上取得 70.59% 的 Pass@5。
英伟达宣布黄仁勋卸任 CEO、总裁及董事,结束 33 年任期,CFO Colette Kress 留任并兼任临时 CEO。SEC 文件显示董事会于 11 月 11 日接受其辞职,独立董事此前已任命调查组,董事会同时开启继任搜索。同期 Anthropic 提交 IPO 注册声明,Google DeepMind 发布速度优先的 Gemini 4 Hydrogen。
推荐理由:原文梳理了黄仁勋辞职的董事会调查时间线,并汇总了 Anthropic IPO 与 Gemini 4 Hydrogen 发布等同期事件。
Mole 作者 Tw93 回顾了产品从 1.13 迭代到 1.19 的过程,期间加入了 AI 工具清理和系统数据清理,并发布了 Windows 桌面版。他用 Agent 配合 computer use 陆续安装卸载 853 款 Mac 软件来补全清理规则,还逐个实测 30 多款 AI 工具的残留数据与进程占用。他的核心观点是,代码越来越便宜的年代,真正拉开差距的是那些只有亲手做过才知道的细节。
ArtCraft 创始人 Brandon Thomas 在旧金山 AI Engineer Code Summit 上介绍,公司已发布 17 款开源软件复刻产品,包括用 Rust 从零构建的 Photoshop 替代品 PhotoCraft。
作者使用开源项目 OneSelf 搭建个人站,把个人信息统一成专属上下文,授权后供不同 AI 读取。部署仅需一台预装 Docker 的服务器和一行命令,支持 Cloudflare Tunnel 等访问方式,可让 AI Agent 整理资料并经用户批准后上线。数据默认私有并运行在本地,用户可按目录控制公开范围和 Agent 权限,随时可撤销。