自研大模型,你得先过哪些技术关
作者按问题定义、数据与语料、Tokenizer、模型架构、预训练、系统性能、评测、后训练与对齐、安全合规、推理产品化十个环节,摊开自研大模型的技术门槛与对应技术栈。作者本人在用一张消费级显卡打通约 0.3B 参数小模型的预训练链路,核心建议是先跑通可中断、可续训、可复现的最小闭环,再扩数据扩参数;训练主链以 Python + PyTorch 为主,CUDA 与多机并行可后补。
作者按问题定义、数据与语料、Tokenizer、模型架构、预训练、系统性能、评测、后训练与对齐、安全合规、推理产品化十个环节,摊开自研大模型的技术门槛与对应技术栈。作者本人在用一张消费级显卡打通约 0.3B 参数小模型的预训练链路,核心建议是先跑通可中断、可续训、可复现的最小闭环,再扩数据扩参数;训练主链以 Python + PyTorch 为主,CUDA 与多机并行可后补。
本文系统讲解了 RAG(检索增强生成)的完整流程与工程调优方法,覆盖离线索引的切分、向量化、入库与在线检索的相似度检索、Rerank 重排序、Prompt 拼装。
本文讲解在 HarmonyOS 7(API 26)中用云端 RAG 搭建企业私有知识库问答,完整落地切分、向量化入库、余弦检索 top-k、组装增强提示词到调云端大模型生成的流水线。
本文梳理了 LangChain 从早期过度封装到 langchain-core、LCEL 与 LangGraph 有向状态机架构的演进,并剖析了无限递归烧 Token、并发分支状态覆盖、容器重启会话丢失与外部工具异常雪崩四类生产事故的机制。
作者提出一套四步需求定义方法:写一句话产品定义、从定义正推问题空间、划边界、补质量属性,并用一个文档问答 Agent 完整演示。顺序不能颠倒,先把“用户要什么、做到什么程度算好”定死再谈架构;从已有技术反推需求会让产品变成功能清单。实例中拆出 15 类问题、8 条质量属性和 4 条红线。
本文基于开源仓库 zai-org/ZCode v3.15.1 的真实源码,拆解 AI 编程 Agent 的实现原理:核心是一个 while(true) 的 Agent Loop,模型只输出文本和工具调用,由运行时执行 Bash、Read、Edit 等工具并把结果塞回对话循环。
推荐理由:文章把 ZCode 的 Agent 实现拆成模型、工具、循环、权限四个部分并给出源码阅读路径,读者可把这套读码方法迁移到其他 Agent 项目。
开发者将安卓版电子书阅读项目改造为鸿蒙版本并开放源码,源码托管于 gitee.com/aqi00/harmo…,作为《鸿蒙HarmonyOS 6应用开发:从零基础到App上线》新增第17章的配套源码。
作者将 JEV 决策模型接入 Agent 路由判断的工程实现整理为端口 + 实现分层,上层只注入 RouteJudgeService,判定作为独立步骤不搅进编排。
本章是 AI Agent 系列教程的第一章,从核心公式 Agent = LLM + 上下文 + 工具 出发,讲解 ReAct 循环、Harness 工程五要素、三层护栏和五个贯穿全书的设计模式。核心论断是模型固定时扩展观察空间与动作空间是提升 Agent 表现的主要工程手段,并以 Kimi K3 和 GPT-5.6 的实验说明模型即 Agent 的趋势。
REA 逆向工程框架以跨架构指令解码、符号恢复与二进制反编译能力登上掘金热榜 15W+ 热度,作者由此提出 AI 时代的真正痛点是"读代码"而非"写代码"。
博主 aqi00 将安卓版电子书阅读 APP 改造为鸿蒙版本并开放源码,源码已补充到《鸿蒙HarmonyOS 6应用开发:从零基础到App上线》第17章。鸿蒙版支持 PDF、EPUB、MOBI、AZW3、DJVU 五种格式,相比安卓版的 PDF、EPUB、DJVU 三种有所扩充。
Hermes 更新器留下的重启标志位挂了 18 天 13 小时未出清,它等的那次重启其实在 2 天 14 小时后已完成,而写下它的进程 8 分钟后就死了。根因是 .git 目录被删,_current_checkout_sha() 恒为 None,出清条件在结构上永远无法成立,警告不会自动消失。
本文解决 Agent 执行步数过多导致上下文窗口被撑爆、Token 费用飙升的问题,核心思路是按信息重要程度分层管理记忆。依次给出滑动窗口、LLM 摘要压缩、向量记忆三种策略,并组合成 L0 工作记忆、L1 摘要记忆、L2 向量记忆的三层上下文架构。
本文在 Amazon Bedrock AgentCore Runtime 上运行一个基于 LangGraph 的“部署顾问”Agent,并使用 Apache SkyWalking AI Sessionizer 记录每轮交互的模型输入、工具调用和文件变更,使执行环境停止后记录仍可查看。
作者把只写在 prompt 里的文件禁碰约束,改造成四道在提交瞬间强制执行的机器闸门:CODEOWNERS 给禁区上锁、pre-commit 钩子提交前自动检查、路径白名单脚本拦截 Agent 越界改动、动手前先写会失败的红测试。文章按从易到难逐道讲解,附可直接复用的 Python 脚本、给 Cursor 的搭建指令和一张落地清单,并说明各闸门的边界与常见踩坑。
Anthropic 在 claude.dev 发文公开 Claudeude Code 团队的代码评审流程,今年 6 月到 9 月合入 Claude Code 代码库的 PR 数量翻倍以上,回滚比例下降 40% 以上。
推荐理由:原文把评审目标改写成人工时间与回滚率双指标,并给出自下而上的借鉴顺序,适合想落地 AI 评审的团队对照参考。
本文用 LangGraph 编排 Agentic RAG 核心流程:用户 query 先拆分扩展为 3 个子问题,ES 与 Milvus 在同一超步并行召回,结果合并去重后交给 DashScope qwen3-rerank 重排取 Top-N,再送入 LLM 生成回答。
本文系统梳理 AI SDK v7 的整体架构,将其拆解为 Provider/Model、AI SDK Core、Agents、Harnesses 四层互相解耦但原语兼容的抽象。
PHP 后台保存成功但前台仍读旧值时,应按六层顺序排查:先确认请求进入的代码目录与后台写入、前台读取的数据源是否一致,再核对相对路径、写入返回值、CLI 与 PHP-FPM 的运行时差异,最后才逐层处理缓存。文章还给出 request_id 加路径与哈希的审计日志写法、JSON 原子替换函数,以及一段限定只读排查、追踪字段从 POST 到持久化再到渲染完整数据流的 AI 提示词。
ZhyCMS 用 66 天从 v1.0.0 迭代到 v3.1.3,测试从 0 增至 360 项全绿,发版从靠运气变成有 Checklist、CI 和门禁。期间 v2.0 一次性补齐 RBAC、审计日志、内容工作流等八大模块,v2.2 转向插件优先架构,v3.0 上线可视化拖拽页面构建器。作者复盘了 SQL 迁移回填、N+1 查询、API 默认免鉴权等真实代码级踩坑与修复过程。
量化误差并未消失,而是被四道防线层层消化:误差小且零均值互相抵消、网络 Lipschitz 连续不放大扰动、过参数化与平坦极小值提供冗余、校准与 QAT 主动补偿。INT8 量化噪声仅约满量程的 0.4%,防线满员时精度损失可小于 1%;但位宽降至 2-bit 时第一道防线率先失守,这是低比特掉点的算术根源。
作者借助 trae 将此前命令行版的 ArrayList 扩容验证程序改造成 GUI 可视化演示,通过反射读取内部 elementData 数组与 size 字段,在每次 add 后实时对比容量变化。
MiniCPM-V 4.7 用 LES 前瞻专家调度让 35B MoE 以约 3GB 活跃工作集跑完整版权重,iPhone 17 Pro Max 达 13+ token/s,iPad Pro 11 英寸 M4 达 17.39 token/s。
这篇文章讲解 ReAct 模式如何让 Agent 通过想、做、看的循环实现边推理边执行,模型只负责决策,由 Harness 组装上下文并校验执行工具,Environment 产生真实状态变化。
推荐理由:原文把 ReAct 循环拆成想、做、看三个环节,并给出最小实现以及约束、验证、纠正三步可靠性改造,可直接迁移到自己的 Agent 开发中。
文章指出 Agent 工具并非越多越好,工具 schema 挤占静态上下文前缀会稀释模型注意力,推高成本与出错率。作者把工具调用拆为声明、模型决定、执行追加、依据结果决定下一步四步,并将工具分为感知、执行、协作、事件触发、用户沟通五类,指出感知决定能力天花板、执行决定地板。
10月15日早8点左右,DeepSeek 网页和 App 显示“服务器暂时不可用”,故障持续约5小时,官方随后发布补偿通知,有用户收到1800多元 API 补偿。聚合平台 WorkBuddy 也跟进补偿,直接赠送500积分,需在“成长计划”→“套餐与计划”中领取,10月22日截止。
DeepSeek 于 10 月 15 日早 8 点左右出现网页和 App“服务器暂时不可用”,持续约 5 小时,官方随后发布补偿通知,有用户收到 1800 多元补偿。WorkBuddy 也向用户补偿 500 积分,需依次点击“成长计划”“套餐与计划”领取。补偿积分领取截止时间为 10 月 22 日,看到的小伙伴赶紧去领。
该学习路线按入门、进阶、工程、精通四阶段推进,每阶段都给出可运行的代码产出,避免学了用不上。内容覆盖 NumPy 手写梯度下降、PyTorch 实现线性回归与注意力机制、FastAPI 封装推理服务,以及 LoRA 微调、Prompt 工程与 RAG 应用。学习建议动手优先、项目驱动,先跑通基线再追求 SOTA。
SkyWalking 11.1.0 即将加入 LLM-as-Judge,异步评估 GenAI Span 中的输入和输出消息,生成评估记录并关联原始 Trace。
AWS SMGS 运营团队基于 Amazon Bedrock AgentCore Evaluations 为其服务全球销售团队的多智能体系统搭建了九阶段生产级评估框架,覆盖从首次提交到生产运行的全生命周期。
推荐理由:原文给出可迁移的九阶段智能体评估框架与六类失败分类法,读者可据此在生产环境中建立持续质量闭环。
两名工程师用 Codex 在数周内发布 Stack Overflow for Agents,其 ChatGPT 插件带动注册量增至三倍。该插件还推动智能体创建量实现最高 10 倍增长。
作者用一次完整对话把 RAG、向量数据库、工具调用、记忆与上下文的关系串起来讲解。核心是分清谁决定查资料、什么内容进长期记忆、每次发给模型什么,并指出用户说一句话背后可能调用多次 LLM,上下文需要按 token 预算筛选。
作者用同一个诊断助手任务对比 AgentScope Java、Spring AI、LangChain4j、Google ADK Java 与 LangGraph4j,指出五者差异不在是否支持模型、RAG、MCP,而在从收到任务到交付结果的过程中框架已替你管到哪一步、剩余执行机制由谁补齐。
作者为 Gemini 4 与 DeepSeek 组成的 Agent 系统新增「企业文化」模块,搭配四套团队阵容,验证文化设定能否影响交付耗时、Token 账单与产品完成度。11 个核心岗位可配置「外科手术极客」研发、「铁面找茬王」测试等性格,另外 7 个工具岗不设性格。接下来将用 OpenCompare 的文件夹对比、代码合并等功能实测各阵容表现,实测账单于 Day 4 公布。
Impeccable 是 Paul Bakaus 创建的开源设计语言工具(Apache-2.0,81.3k Stars),用 59 条不依赖 LLM 的确定性检测规则加 Skill 命令驱动的 LLM 评审双轨机制,解决 AI 生成前端千篇一律的问题。
推荐理由:文章拆解了 Impeccable 把确定性规则与 LLM 评审分轨的架构,读者可把这套分工思路迁移到自己的 AI 工作流中。
Anthropic 用 7 个人花 5 个月做出内部版本控制系统 Scion,替下原有 Git 基础设施,应对 AI 写代码加快后合并和等待跟不上的问题。
推荐理由:原文讲清了 Anthropic 换掉内部 Git 的原因与收益,普通读者可迁移的是分清代码写完与可上线之间的差距。
本节教程演示如何用 raylib 绘制矩形并实现按钮点击,做出一个点 EXIT 即关闭窗口的小程序。先以 DrawRectangle 和 DrawRectangleRec 配合 Rectangle 结构体画矩形,再用 GetMousePosition 获取鼠标坐标、IsMouseButtonPressed 判断左键按下。
本文讲解如何用 OpenTelemetry 记录 Agent 执行过程,把多轮推理、工具嵌套等树状拓扑组织成带层级、因果和耗时的 Trace/Span 树。核心内容包括 span 的 parent_id 拼树原理、Trace/Metric/Log 三信号协同、gen_ai.* 与 tool.* 语义约定字段,以及「有耗时开 span、产出挂 attribute」的埋点判断规则。
本篇汇总前 13 篇验证证据,回答 Token 成本量级、人工确认门位置及 LLM 不适用场景三个工程化问题。端到端任务因上下文累积曾烧数千美金(单 Turn 达 117 个 tool calls),而窄环节加硬预算设计(AutoRestTest 约 $0.1、pytest-triage 上限 10 次调用)使成本可控。
WES Code 支持接入飞书、钉钉等即时通讯平台,在单聊或多人会话里给机器人发消息即可调用编辑器内的 AI 助手,回复一边生成一边更新回原会话。引擎为每个平台封装统一适配器,由分发器依次完成会话归属、助手绑定、频率限制和外部消息信任标记,作者用飞书真实事件格式跑了适配器与分发规则的实测。