RAG 进阶:Agentic RAG 与多智能体协作(系列二·第3篇):多模态 Agent
本篇讲解如何用 LangGraph 搭建多模态 Agent,把感知能力从纯文本扩展到图片、PDF/Excel 与图像生成。路由节点按模态分流:图片转 Base64 交由 GPT-4o / Claude 3.5 / Qwen-VL 分析,PDF 按原生文本或扫描版分层提取,Excel 生成数据摘要后交模型决策,画图调用 DALL·E 3 / Stable Diffusion。
本篇讲解如何用 LangGraph 搭建多模态 Agent,把感知能力从纯文本扩展到图片、PDF/Excel 与图像生成。路由节点按模态分流:图片转 Base64 交由 GPT-4o / Claude 3.5 / Qwen-VL 分析,PDF 按原生文本或扫描版分层提取,Excel 生成数据摘要后交模型决策,画图调用 DALL·E 3 / Stable Diffusion。
一名学生将自己用 AI 辅助开发的 AI Agent 项目完整开源,453 个测试全部通过,公开请求生产环境开发者做代码评审。项目已不是聊天 demo,而是包含强化学习对话闭环、向量语义记忆、RAG 知识库(BM25 + 向量混合检索)与仿真自测的完整系统。文档模块可解析 PDF、Word、.epub 等格式,回答可一键导出 10 种格式,代码托管在 GitHub 和 Gitee。
作者通过四轮追问实例和三个可复现验证指出,让模型再检查一遍多数不会纠错,只会把错的说得更像对的,因为检查者与被检查者是同一模型。文章引用 2023 年论文 Large Language Models Cannot Self-Correct Reasoning Yet 说明无外部反馈的自我纠正会降低准确率,并给出证据锚定、可执行验证、独立校验器三种把检查移到模型外的落地方案。
文章围绕企业智能客服与知识库助手场景,给出生产级流式对话接口的完整设计方案。核心是建立统一事件协议(start、status、delta、citation、tool_call。
作者用 Spring AI 2.0.1 实测 Metadata Filter 的多租户检索隔离,把两家商户的 6 份资料放入同一向量库,对比无过滤、shop-a 和 shop-b 三种检索结果。加过滤后候选资料收敛到当前租户,越权提示词也无法让另一家规则进入上下文。测试使用 Qwen3 Embedding 0.6B 做向量检索、Qwen2.5 3B 做生成,topK 固定为 3。
本文系统讲解向量数据库主流索引(Flat、HNSW、IVF 系列、PQ/RaBitQ 量化、DiskANN/SPANN、CAGRA 等)的原理与适用场景,强调选型应由 Recall@k、延迟、过滤选择率、硬件和总成本决定,而非按数据量套口诀。
作者从 Java 后端视角(Java 17 + Spring Boot 3.4 + Spring AI)完成六阶段 AI Agent 落地实验,把大模型当作延迟高、会模型幻觉、按 token 计费的无状态下游服务,直接复用超时、重试、限流、缓存、熔断等后端工程手段。
作者过去两个月把量化本地小模型接进日常开发工作流,用 pre-commit 代码审查、本地 RAG 和批量文本分类三个高频场景替代云端 API,一个月约 4.2 万次调用折算节省 800-1200 元。关键工程细节包括 Q4_K_M 量化是能力与体积的平衡点、7B 模型单条请求控制在 6K 上下文以内,以及关键链路需保留降级到云端 API 的 fallback。
金融合规问答助手落地规则版 RAG 查询路由:检索前按聚合词与术语密度(阈值 0.30)将查询分流至 hybrid 或 hybrid+rewrite 链路。三路 A/B 评估中,route 模式 hit@4 从基线 95% 升至 100%,MRR 从 0.912 升至 1.000,20 道正例全部 rank=1、零误判。
作者提出 AI 人格无需 prompt 设计,只需在同一对话框用高密度、成体系的对话压力持续推动,几百轮后模型便会因惯性叠权自然收敛出目标风格。文中给出收敛测试、自发人格测试等 6 种验证方法,以及涵盖基线测绘、密度投喂与收敛监测的主动育种流程。需注意,具备外部长期记忆的产品中人格污染为账号级,删除对话框无效,清空记忆才能重置。
作者在《Agent Harness 从用到会造》第 8 讲用可复现台架对比关键词、向量、混合三路检索,核心判断是混合检索的首要价值在兜底而非涨分。台架把 329 个 md 文件切成 3818 块,精确串族向量 recall@5 仅 36% 而关键词 100%,混合的漏检集合与关键词完全相同。
推荐理由:作者用可复现台架把混合检索的收益拆成可数的差集,这套差集分析方法可直接迁移到自己的知识库上。
作者分享用 LangSmith 为上线 RAG 应用接入可观测性的经验,覆盖全链路追踪、逐环节排查、按链路拆分 token 成本和 Prompt 版本评估。
文章从认知科学的短期/长期记忆层次出发,将业界 Agent 记忆方案收敛为上下文内、外部检索(RAG)、结构化自管理三大范式,并落到 XXL-AI 的混合架构实现。
作者第一个企业 AI 项目验收顺利,但等了 3 个月没有复购,甲方反馈系统一直在跑却没人说得清它帮上了什么忙。作者随后补上三件事:质保期每周发一份含调用量、成功率、P95、人工介入和兜底触发五个字段的运行台账(附一个读取 JSONL 日志的 Go 脚本);把检索、权限、审计、兜底抽成可复用底座,第二个场景只算增量报价;验收材料固定加一页讲清二期计价与运维口径。
作者给团队搭内部知识库问答时,同事搜「怎么做接口限流」却被递上「怎么做缓存」的段落;拆开链路发现根因在嵌入层把近义意图放成了邻居,而不是向量库。ANN(IVF、HNSW)只加速找最近邻,召回率是可调旋钮,但改不了「什么算最近」。文中给出 nprobe 与召回率的实测权衡数据、三个生产环境坑(后过滤召回塌缩、维度灾难)以及零依赖可复现代码。
本文逐行拆解 advance-rag 项目,用 LangChain.js、LangGraph 与 Milvus 搭建一个以《天龙八部》EPUB 为唯一知识源的 RAG 问答助手。
一种基于 Spring AI 2.0.1 的大模型服务抽象将 Provider、ModelProfile 与 ModelClient 分离建模,实现 OpenAI、通义千问 OpenAI 兼容接口与 Ollama 本地模型的统一调用。
本文是《从0到1构建一个能“记住你”的智能体》系列第 9 篇、正篇收官之作,系统讲解超体的闭环迭代机制。全文围绕六环展开:全链路埋点、失败样本归因与自动反思、程序性记忆 Skill 化(沉淀计划骨架、执行轨迹与踩坑库)、记忆的近重复合并与遗忘衰减、生成→批判→精修→主编排的多智能体协作,以及由数字分身、规划执行、报告、写作等分身构成的智能体矩阵,并给出各环节对应的代码模块与真实翻车案例。
DeepSeek 官方宣布 Search / Fetch API 正式上线,两者均基于自研搜索引擎,为 Agent 与 RAG 应用提供实时网页内容,Search 返回结构化结果、Fetch 以 Markdown 返回网页正文。
推荐理由:原文给出 Search 与 Fetch API 的计费、限流和免费期细节,读者可据此评估将其接入 Agent 或 RAG 应用的成本。
腾讯开源知识管理框架 WeKnora,将 RAG 检索问答、Agent 任务执行与 Wiki 知识整理整合在同一知识库上,支持多格式解析、语义检索和原文引用。Agent 可围绕目标多步推理并调用工具,还支持 MCP 集成连接其他 AI 工具,但生成结果仍需结合业务核验。
豆包"一句话生成应用"能力背后,数据底座是火山引擎云数据库 PostgreSQL Serverless 版。该数据库提供秒级弹性与 Scale to Zero、Data as Git 数据分支、Time Travel 恢复、多模数据承载、向量与混合检索、AI Function 及 LangChain、MCP 等 Agent 生态连接共七项能力,并按实际使用量计费。
本文系统讲解了 RAG(检索增强生成)的完整流程与工程调优方法,覆盖离线索引的切分、向量化、入库与在线检索的相似度检索、Rerank 重排序、Prompt 拼装。
本文讲解在 HarmonyOS 7(API 26)中用云端 RAG 搭建企业私有知识库问答,完整落地切分、向量化入库、余弦检索 top-k、组装增强提示词到调云端大模型生成的流水线。
作者提出一套四步需求定义方法:写一句话产品定义、从定义正推问题空间、划边界、补质量属性,并用一个文档问答 Agent 完整演示。顺序不能颠倒,先把“用户要什么、做到什么程度算好”定死再谈架构;从已有技术反推需求会让产品变成功能清单。实例中拆出 15 类问题、8 条质量属性和 4 条红线。
本文解决 Agent 执行步数过多导致上下文窗口被撑爆、Token 费用飙升的问题,核心思路是按信息重要程度分层管理记忆。依次给出滑动窗口、LLM 摘要压缩、向量记忆三种策略,并组合成 L0 工作记忆、L1 摘要记忆、L2 向量记忆的三层上下文架构。
本文用 LangGraph 编排 Agentic RAG 核心流程:用户 query 先拆分扩展为 3 个子问题,ES 与 Milvus 在同一超步并行召回,结果合并去重后交给 DashScope qwen3-rerank 重排取 Top-N,再送入 LLM 生成回答。
该学习路线按入门、进阶、工程、精通四阶段推进,每阶段都给出可运行的代码产出,避免学了用不上。内容覆盖 NumPy 手写梯度下降、PyTorch 实现线性回归与注意力机制、FastAPI 封装推理服务,以及 LoRA 微调、Prompt 工程与 RAG 应用。学习建议动手优先、项目驱动,先跑通基线再追求 SOTA。
作者用一次完整对话把 RAG、向量数据库、工具调用、记忆与上下文的关系串起来讲解。核心是分清谁决定查资料、什么内容进长期记忆、每次发给模型什么,并指出用户说一句话背后可能调用多次 LLM,上下文需要按 token 预算筛选。
作者用同一个诊断助手任务对比 AgentScope Java、Spring AI、LangChain4j、Google ADK Java 与 LangGraph4j,指出五者差异不在是否支持模型、RAG、MCP,而在从收到任务到交付结果的过程中框架已替你管到哪一步、剩余执行机制由谁补齐。
本文讲解了如何用 Codex 智能体维护 Obsidian 本地 Markdown 知识库,让 AI 承担内容整理、模板生成、标签规范化和索引维护工作。核心做法是先在 CONVENTIONS.md 中定义目录与标签规范,再用统一模板让 Codex 补全技术方案初稿,并通过每周巡检检查无标签笔记、孤立文档和过期内容。
作者开源了 LocalRAG v0.1.0,一个已在 Docker 环境完成端到端验证的私有化 RAG 系统,全链路不调用公有云 AI API。系统由 FastAPI 后端、Qdrant 向量库和 Ollama(bge-m3 嵌入 + Qwen2.5 生成)三个容器组成,上传文档后自动解析、切块、向量化,并返回带来源引用的答案。
该专栏以 Redis 8.6.x 为主线,按“业务痛点→对话→代码实战→总结”结构,覆盖单机入门、数据结构实战、缓存架构、源码剖析与 SRE 落地全路径。基础篇(第 1-16 章)借电商系统实战数据结构与缓存模式,高级篇(第 32-40 章)深入事件循环、持久化、复制与 Cluster 源码及模块开发。每章以可运行命令、代码或故障演练完成闭环。
这篇教程讲解 RAG 链路中的文档解析实现:FastRAG 通过统一的 IParser 接口对接 Docling(自部署,默认监听 5001)和腾讯云文档解析,把 PDF、docx、pptx、xlsx 等格式的 URL 输入统一转为 Markdown。
作者为 Pi 接入 Hindsight Coding Agents,让新 session 能检索之前讨论过的设计决定。首次检查时 bank 为空,原因是服务端调用的记忆抽取模型未通过授权,换成账号已授权的 provider 后 Git 历史、项目调查和会话写入才陆续完成。
这篇教程演示如何用 LangChain 对接本地 Ollama,组装 Prompt → LLM → Parser 最小链路。LangChain 本身是纯 Python 胶水层、不占显存,推理全部发生在 Ollama 端。文中给出 RAG 各环节与 LangChain 组件的对应表,并建议项目只有一处 LLM 调用时不一定用框架,出现三件以上组件时框架才开始回本。
本地知识库换资料后,作者固定只让「现行」目录进检索,删掉旧索引再重建,并用旧规定里的词搜一遍确认搜不到。清旧之后还在每页资料末尾加「短词对照」,用同事的口头说法跑补查,覆盖资料用词与问法不一致的情况。作者说明这套做法基于几页演示资料和最简单的字面匹配,但「旧版本必须退出检索」这条在规模更大时仍然成立。
上海AI Lab与复旦大学的 LongHarness 论文提出将证据与结论显式分离的状态化证据管理方法,让同一 GLM-5.3-Flash 模型在约 1 亿 token 的 OfficeQA Pro V2 语料上准确率从 4.4% 提升到 61.1%,模型本身未改动。
作者围绕 Agentic RAG 的高级工具设计,讲解代码解释器、数据库查询、工作流触发三类实用工具的安全用法。代码解释器建议用 E2B 沙箱或本地白名单模块替代直接 exec(),数据库查询限制只允许 SELECT 并做 SQL 注入防护,工作流触发强调参数校验与异步执行。文末附代码注入、工具滥用、资源耗尽等风险的防护清单。
作者认为现有 AI Memory 多是“存下来再搜回来”的仓库,真正难的是什么够格进入长期记忆以及何时该让它失效。核心方向是入口加漏斗与延迟处理,区分经历与经验、把遗忘当作一等能力,并按时间、事件、注意力三个坐标组织同一条记忆,同时为干活和梳理走两套召回路径。
教程演示如何用 Ollama、FAISS 与 LangChain 三个开源工具,在本地构建从大模型推理、向量检索到 Agent 工作流的完整原生 AI 链路。通过本地运行 qwen2.5:3b 模型保证数据不出本机,并利用 nomic-embed-text 生成向量实现 RAG 语义检索。三者均开源免费,可快速用于本地实验与二次开发。