拆解 MiniCPM-V 的 LES 调度:35B 模型塞进 3GB 内存,按需加载才是端侧 MoE 真瓶颈
MiniCPM-V 4.7 用 LES 前瞻专家调度让 35B MoE 以约 3GB 活跃工作集跑完整版权重,iPhone 17 Pro Max 达 13+ token/s,iPad Pro 11 英寸 M4 达 17.39 token/s。
MiniCPM-V 4.7 用 LES 前瞻专家调度让 35B MoE 以约 3GB 活跃工作集跑完整版权重,iPhone 17 Pro Max 达 13+ token/s,iPad Pro 11 英寸 M4 达 17.39 token/s。
文章指出 Agent 工具并非越多越好,工具 schema 挤占静态上下文前缀会稀释模型注意力,推高成本与出错率。作者把工具调用拆为声明、模型决定、执行追加、依据结果决定下一步四步,并将工具分为感知、执行、协作、事件触发、用户沟通五类,指出感知决定能力天花板、执行决定地板。
该学习路线按入门、进阶、工程、精通四阶段推进,每阶段都给出可运行的代码产出,避免学了用不上。内容覆盖 NumPy 手写梯度下降、PyTorch 实现线性回归与注意力机制、FastAPI 封装推理服务,以及 LoRA 微调、Prompt 工程与 RAG 应用。学习建议动手优先、项目驱动,先跑通基线再追求 SOTA。
Itaú 正借助对话式界面 ia.i 与 IARA 治理平台,在巴西监管最严格的行业之一落地其 AI First 战略,将生成式 AI 应用扩展至全体客户与员工。
SkyWalking 11.1.0 即将加入 LLM-as-Judge,异步评估 GenAI Span 中的输入和输出消息,生成评估记录并关联原始 Trace。
Elastic 提出去中心化的数据网格方案,回应英国内政部警务改革白皮书的数据整合需求,让数据留在各警队本地治理的同时实现全国互联互通。白皮书提议设立国家数据整合与利用服务(NDIES),警察国家计算机系统将于 2026/2027 年度由执法数据服务(LEDS)取代。
AWS SMGS 运营团队基于 Amazon Bedrock AgentCore Evaluations 为其服务全球销售团队的多智能体系统搭建了九阶段生产级评估框架,覆盖从首次提交到生产运行的全生命周期。
推荐理由:原文给出可迁移的九阶段智能体评估框架与六类失败分类法,读者可据此在生产环境中建立持续质量闭环。
作者用一次完整对话把 RAG、向量数据库、工具调用、记忆与上下文的关系串起来讲解。核心是分清谁决定查资料、什么内容进长期记忆、每次发给模型什么,并指出用户说一句话背后可能调用多次 LLM,上下文需要按 token 预算筛选。
作者用同一个诊断助手任务对比 AgentScope Java、Spring AI、LangChain4j、Google ADK Java 与 LangGraph4j,指出五者差异不在是否支持模型、RAG、MCP,而在从收到任务到交付结果的过程中框架已替你管到哪一步、剩余执行机制由谁补齐。
Impeccable 是 Paul Bakaus 创建的开源设计语言工具(Apache-2.0,81.3k Stars),用 59 条不依赖 LLM 的确定性检测规则加 Skill 命令驱动的 LLM 评审双轨机制,解决 AI 生成前端千篇一律的问题。
推荐理由:文章拆解了 Impeccable 把确定性规则与 LLM 评审分轨的架构,读者可把这套分工思路迁移到自己的 AI 工作流中。
Anthropic 用 7 个人花 5 个月做出内部版本控制系统 Scion,替下原有 Git 基础设施,应对 AI 写代码加快后合并和等待跟不上的问题。
推荐理由:原文讲清了 Anthropic 换掉内部 Git 的原因与收益,普通读者可迁移的是分清代码写完与可上线之间的差距。
本文讲解如何用 OpenTelemetry 记录 Agent 执行过程,把多轮推理、工具嵌套等树状拓扑组织成带层级、因果和耗时的 Trace/Span 树。核心内容包括 span 的 parent_id 拼树原理、Trace/Metric/Log 三信号协同、gen_ai.* 与 tool.* 语义约定字段,以及「有耗时开 span、产出挂 attribute」的埋点判断规则。
本篇汇总前 13 篇验证证据,回答 Token 成本量级、人工确认门位置及 LLM 不适用场景三个工程化问题。端到端任务因上下文累积曾烧数千美金(单 Turn 达 117 个 tool calls),而窄环节加硬预算设计(AutoRestTest 约 $0.1、pytest-triage 上限 10 次调用)使成本可控。
爱范儿 APPSO 首发实测华硕 ProArt 创16 RTX Spark 笔记本,64GB 统一内存版售价 28999 元,128GB 版 37999 元,实际可用 GPU 显存约 46.7GB。
WES Code 支持接入飞书、钉钉等即时通讯平台,在单聊或多人会话里给机器人发消息即可调用编辑器内的 AI 助手,回复一边生成一边更新回原会话。引擎为每个平台封装统一适配器,由分发器依次完成会话归属、助手绑定、频率限制和外部消息信任标记,作者用飞书真实事件格式跑了适配器与分发规则的实测。
2026 年 10 月 15 日,Meta 发布开放权重模型 Muse Spark Open(总参数 816B、每 token 激活 42B、1M token 上下文。
推荐理由:原文把厂商演示与可验证数据分开列出,并给出四道门选型框架,读者可据此判断自建 800B 本地底座是否成立。
楠风在 MySQL 8.4 LTS 实验环境中演示慢查询排查流程,把“接口慢”反馈整理成可复查、可交接的诊断材料。流程涵盖设计 JSON 证据记录、会话级短时采集慢日志并恢复原值、mysqldumpslow 分组,以及用 EXPLAIN ANALYZE 与 data_lock_waits 验证扫描、事务锁等待与库外等待三类假设。
作者借助 Qoder / 通义灵码 等 AI 工具,将 Excel 报表生成需求拆成小步 Prompt 逐步完成 Python 脚本,最终 pytest 跑出 34 passed、总销售额 18,500.00。
阿里云 Agent 观测与优化平台 AgentLoop 以无侵入方式接入 Dify 应用的模型与工具交互,提供运行观测与审计能力。其审计能力包括风险审计、意图审计、实体调查、审计事实与自定义审计,帮助团队从已有运行记录中发现敏感信息暴露与风险意图,并把问题定位到 HTTP、Code、LLM 等具体节点。审计助手 Loopie 还支持用自然语言描述检查要求,辅助生成自定义检测规则并经人工审核后启用。
AI 海报素材站管理端以结构化 Prompt 模板配合异步任务队列实现出图全自动,运营无需设计师介入,几分钟内即可批量重刷整个栏目数十张封面。系统采用本地 ComfyUI 与阿里云 DashScope 双引擎,经 AiImageClient 统一出图入口按配置动态切换,上层业务代码完全无感知。
TinyRobot Kit 0.5.1 将 AI 对话数据层拆分为 useMessage、useConversation、responseProvider、存储策略与插件五个可独立组合的边界。
某 MSP 引入轻帆云 AI 数字员工,将 NOC 告警接收、分析、报告生成与通知交由其自动完成,初步分析报告可在分钟级形成并按客户 SOP 定级送达。一线确认后 AI 员工可继续深入排查,为二线专家整理现场信息与排查线索,排查过程受沙箱隔离、TLS 加密与受限只读等安全约束。新客户接入可复用已有岗位职责与工具配置,缩短新增服务能力的形成周期。
本文是「前端转 AI 100 天」系列第 24 天,作者用 httpx + pytest 给 FastAPI 项目补齐 API 层测试。核心是 TestClient、dependency_overrides 与临时数据库三件套,配合 MockLLMClient 和跳过认证的依赖覆盖,23 个 API 测试 2.41 秒跑完、覆盖率达 90%。
作者将 Agent 身份与授权层实战周五篇内容压缩为 12 条上线 checklist,并附约 120 行仅依赖 Python 标准库的授权中间件 agent_guard.py。
作者开源了 LocalRAG v0.1.0,一个已在 Docker 环境完成端到端验证的私有化 RAG 系统,全链路不调用公有云 AI API。系统由 FastAPI 后端、Qdrant 向量库和 Ollama(bge-m3 嵌入 + Qwen2.5 生成)三个容器组成,上传文档后自动解析、切块、向量化,并返回带来源引用的答案。
作者基于 FastAPI 搭建了一个 AI 聊天后端,支持会话管理、历史消息查询、多轮上下文、SSE 流式推送与消息持久化。核心实践包括用 AsyncOpenAI 配合 async for 实现完整异步链路,在流式生成器内独立创建 Session 保存 AI 回复,以及用 parent_id 加 version 保留重新生成的多个回复版本。
作者实测复盘指出,并发 Agent 数量不等于有效工程吞吐量,盲目把单 CLI 任务切成多 Agent 协同会踩进 Prompt 缓存击穿与 Token 账单暴增的陷阱。
KubeBlocks Enterprise v2.3 正式发布,围绕智能诊断、引擎生态、数据安全与精细化运维升级,新增 RustFS、He3SQL 等引擎支持,并推出 AI Agent 结合日志、指标与运行状态辅助故障定位和性能分析。
作者为开源逆向工具 REA 做了 Windows 免安装 GUI「REA-UI」,153 个命令的表单全部由 CLI 自带的 JSON Schema 自动生成,不硬编码任何命令名,REA 升级后只需重新刷新目录。绿色包 62 MB 解压即用,源码以 MIT 许可开源;作者还绕过 REA 直接调 Ghidra headless,把 1038 个函数的批量反编译压进约 11 分钟。
如一 Agent 架构解读系列第二十一篇,分析单 Agent 在上下文质量、执行成本、串行时间线和注意力总量上的四类结构性约束,并给出如一的受管 SubAgent 体系设计。
在 dsh 上装了 4 个插件,真正能用的只有 2 个:宿主从 0.2.1-alpha.2 升到 0.2.1-alpha.4 后,停在 alpha.2 的子代理插件被守卫静默跳过,"派子代理"能力悄悄消失。
作者认为 Agent 产出不确定,单次跑通可能只是运气,必须改用统计方式——跑多次、看通过率与分布;测试量因此上升一个数量级,必须自动化,而自动化先要用例集与金标准。由此提出“测试驱动升级版”:先把“什么算对”定义清楚,再让它驱动架构决策与代码优化,并给出可回环的五步流程与三条纪律,其中引用无伪证等硬线零违反、不能用平均分盖过。
大一新生在开发开源微内核项目 Vaelin(留白)时引入十几个 AI 工具,为此设计了一套“状态树(State Tree)”多 Agent 治理架构,把项目状态从 AI 对话历史中剥离,固化成由 python tools/state_tree.py 自动生成的 Markdown 状态树。
文章主张模型调用失败先按阶段分类,只有网络中断、429、5xx 等暂时性故障才做有边界的自动重试,参数错误和认证失败直接终止。有边界重试由最大次数、指数退避(delay = min(8, 0.5 × 2^attempt) + uniform(0, 0.2))、jitter 和降级出口组成;拒答、截断、格式错要按根因处理并把失败写入 Trace。
AI 无限画布开发者选型的核心是底层渲染引擎、多模态节点编排、API 开放能力、算力调度、数据安全、运维容错六大工程化指标,而非单纯的生图效果。星宇智算无限画布开放瓦片尺寸、重叠率等分片渲染参数,配套星桥 API、组织/项目/画布/节点四级权限与星元按量计费,同时支持 SaaS 与私有化部署。技术团队应先明确业务场景、并发规模与合规约束,再以基准、压力、并发等 POC 用例的实测数据完成选型决策。
排查自动化工作器"步骤过多(6>5)"报错发现根因:规划器 decompose 默认 max_steps=6,执行器守卫 MAX_STEPS=5,常数不同源导致系统自己生成的 6 步计划被自己的守卫静默拒绝。这类 bug 不崩不抛异常,拒绝信息混在普通失败里,容易被误读为"能力不足"并系统性低估成功率。修复建议优先把超过 5 步的目标拆成两个子任务,而非直接放宽守卫上限。
实测多款主流无限画布发现,团队协作、画布内 AI 生成、大文件加载三大核心维度差距显著,星宇智算无限画布三项能力同时覆盖、表现突出。测试固定 5 人并发编辑 15 分钟、800+ 节点超大画布等统一基准,覆盖通用白板、普通节点式 AI 画布与专业画布三类产品。
作者拿到两套配置相近的八卡整机(8×RTX 5090 对 8×RTX 4090D),连续 7 天循环跑 vLLM 推理、ComfyUI Flux 绘图和 LoRA 微调,实测显存、吞吐、功耗与多卡稳定性。
企业 AI 治理需落在预算、权限、会话、效能四个维度,建立长期运转的体系。预算按部门项目设额度预警,权限将调用收口到统一入口托管密钥,会话串联多轮对话做追踪与敏感内容检测,效能区分流量并以智能路由匹配模型。落地前提是所有调用走统一入口,XApex 等平台一次接入 OpenAI、Claude、Gemini、DeepSeek、Qwen、GLM 等模型,在网关层统一配置。
该专栏以 Redis 8.6.x 为主线,按“业务痛点→对话→代码实战→总结”结构,覆盖单机入门、数据结构实战、缓存架构、源码剖析与 SRE 落地全路径。基础篇(第 1-16 章)借电商系统实战数据结构与缓存模式,高级篇(第 32-40 章)深入事件循环、持久化、复制与 Cluster 源码及模块开发。每章以可运行命令、代码或故障演练完成闭环。