FlashAttention 详解:从 GPU 硬件、普通 Attention 到分块计算与 Online Softmax
本文详解 FlashAttention 的核心原理,它通过分块计算与 online softmax 在 GPU 片上存储中完成注意力,避免把完整的 N×N 中间矩阵 S 和 P 写入 HBM,主要减少显存读写而非矩阵乘法计算量。
本文详解 FlashAttention 的核心原理,它通过分块计算与 online softmax 在 GPU 片上存储中完成注意力,避免把完整的 N×N 中间矩阵 S 和 P 写入 HBM,主要减少显存读写而非矩阵乘法计算量。
作者用 VSCode + Claude Code 插件、Claude API、patent-disclosure-skill 和项目 CLAUDE.md 搭成专利撰写辅助环境,已在真实案件跑通 20 轮迭代,交底书、创新点说明书和黑白线条附图全部由 AI 辅助完成,人工只做定向确认。
本文系统梳理了 AI 时代代码安全审查工具的格局,先解释 MCP 协议如何让大语言模型直接调用安全扫描工具与漏洞数据库,再对比开源与商业两条路线。
卓驭构建多模态湖仓 ZLake 作为移动物理 AI 的数据底座,基于阿里云 DLF、EMR Serverless Spark、EMR Serverless StarRocks 与 PAI 打造 ZLake Store、Meta Lake 等核心组件。
作者发布开源包 Mud.Feishu.AI,把 .NET 飞书 SDK 的 1268 个强类型方法重新编排为 331 个按高频工作流策展的工具,覆盖 31 个工具域。
StreamMark 是面向 Avalonia 的原生 Markdown 渲染库,不需要 WebView,可持续追加 AI 流式输出并组织多轮对话。文章基于 0.1.0-alpha.22 与 .NET 10、Avalonia 12.1.3,演示了 NuGet 安装、主题注册、代码高亮与 RaTeX 公式及 Mermaid 扩展插件接入。
文章给出 Agentic RAG 检索侧的完整设计方案:默认纯 Agent、不做前置分类器,检索判断收敛到 Agent 循环的 Thought。
作者借助 TRAE 协作开发了一个警示牌一键生成器:纯 Canvas 绘制、单 HTML 文件、零外部依赖,双击即可使用。工具支持 10 种形状、10 套配色、20 个常用模板与 60+ 表情图标,按 DPI 换算像素实现 A4@300DPI = 2480×3508px 的标准打印出图,并可一键导出 PNG/JPG。
文章构造了一条七事件 Agent 任务时间线,说明 150 毫秒首 token、2400 毫秒首次可用结果与 3000 毫秒任务确认为何同时正确,并附一份可直接运行的 Python 区间演算脚本。脚本拒绝跨时钟域相减,并演示并行工具的 span 不能机械相加:两路工具 span 合计 1700 毫秒,用户实际墙钟等待只有 1100 毫秒。
在完全断网的内网 Docker 环境里,Open WebUI v0.11.3 可通过离线安装 python-pptx 并加载社区开源单文件 Tool openwebui-generate-slides 生成原生可编辑的 .pptx。
作者在 AutoDL 租用 RTX 5090(2.88 元/小时),通过 ComfyUI 部署 MiniMax H3,完整记录实例配置、ComfyUI 安装、模型按需下载、文生视频工作流与避坑过程。
这篇文章面向有后端经验、刚接触电话/VoIP 的开发者,讲解如何用开源软交换 FreeSWITCH 把电话系统接入语音客服机器人。
推荐理由:原文把从 SIP/RTP、拨号计划到 ESL 控制和音频分叉的整条链路拆开讲解,读者可据此把现有 ASR/LLM/TTS 机器人接入真实电话线路。
作者开发并开源了 PromptGuard,一个纯本地化、零配置的轻量级提示词安全网关。检测链路分三层:正则规则拦截显式攻击,TF-IDF 字符级 N-gram 余弦相似度拦截变体绕过,本地 Ollama 模型(默认 qwen2.5:3b,可换更强模型)做语义判定。
在 DeepSeek Harness(DSH)中以插件形式按需加载 OpenGIS 知识:插件只提供技能目录,不注册工具、不抢占上下文,工具链仍由模型通过 bash 等通用工具执行。
Nsight Compute 报告的 Source 页把性能指标与 CUDA C++ 源码、PTX、SASS 机器指令逐行对齐,本教程逐项讲解其视图切换、导航控件与各指标列的读法。
作者复盘一起真实事故:固定窗口限流在窗口切换瞬间放出两倍请求,200 个请求在 0.2 秒内砸向下游模型供应商,引发 429 雪崩并拖垮同配额下的其他租户。
作者用麦当劳中国 MCP 做营养搭配 CLI,总结出解析 TOON 格式的四个坑:行首字段带前导空格、null 与 0 是三种状态、字段内含逗号不能 split(','),以及被限流时 HTTP 照样返回 200。压测 305 次请求全部返回 200,只判状态码会把限流当成功、把空数据当没菜;解析器 src/toon.ts(331 行)默认严格模式,行数列数与表头不符直接抛错。
作者通过缓存、模型分级、Prompt 精简、批处理和流式输出五项改造,将日均调用从 1,000 降到 100,Token 消耗降 87%,月账单从 4,832 降到 461,P95 延迟从 8.2s 降到 1.4s。
推荐理由:作者用真实踩坑经历说明成本大头在架构层面,缓存阈值和分级规则顺序等参数都需用自己的业务数据标定。
本文剖析 DeepSeek Harness 中上下文管理、记忆压缩与知识获取三个模块如何围绕 Session Log 协同工作。
本文对比 DeepSeek Harness 与 Pi 两个 Agent 框架在循环结束判断上的架构差异。
开源项目 SmartCall 的通信基座 jpower-core-asterisk 将 Java 对接 Asterisk 的样板代码收敛为注解:一个 @Agi 注解完成 IVR 脚本注册,@AmiListener 与 @AmiEvent 两个注解替代庞大的 instanceof 事件分发。
作者提出跨会话偏好保存应绑定一次具体变更,即主体、项目、偏好键、值、有效期、来源事件以及确认时所依据的版本,并用一个可运行的 Python 内存例验证四类请求。示例显示模型推断与未确认的明确陈述都被拒写,不同项目和用户的完整键各自隔离,迟到确认因版本冲突被拒绝,到期与撤销都不再返回旧值。作者同时说明该例未连接共享存储,并发一致性、鉴权和删除传播仍需另行验证。
律所 Agent 项目质保期 90 天临近时作者翻查日志目录,确认交付后真正出问题的不是模型,而是日志留存、版本回滚、数据口径三处:模型三个月一行没改,知识库、提示词、依赖库和数据量却一直在变。
推荐理由:作者把企业级 Agent 质保期风险归为日志留存、版本回滚、数据口径三处,并给出可直接复用的自检代码与检查表。
God's Eye View 是前 Google AR/3D 地图产品经理 Bilawal Sidhu 开源的浏览器级 OSINT 3D 地球控制台,MIT 协议,聚合 15 路公开实时信号,纯前端目标 60 帧渲染。
推荐理由:原文拆解了多源实时数据聚合的工程取舍,其去框架化架构与密钥代理治理思路可平移到其他地理可视化应用。
大模型账单对不齐通常不是系统故障,而是不同厂商的 Token 统计口径存在差异,解决关键是建立企业自己的统一计量基准。通过 XApex 这类多模型统一 API 平台将所有模型调用收敛到统一入口,可按同一套规则计量并快速定位账单差异。统一口径后,按业务线、应用、场景的成本归因与预算管控才有意义。
SubAgent 是主 Agent 临时派出的子智能体,在独立上下文中执行搜索、审查、调研等子任务,只把最终结论返回主 Agent,从而减少中间过程对主对话上下文的干扰。
作者为 to C 一人公司给出以 AI 友好度为首要标准的技术栈方案:前后端统一 TypeScript,用 Next.js、PostgreSQL 配 Drizzle 或 Prisma,样式选 Tailwind CSS 加 shadcn/ui,校验用 Zod,让编译器和类型检查替 agent 兜底。
文章给出用 AI 定位生产环境偶发 Bug 的五个套路:时间盒日志回溯、失败与成功请求字段级 diff、并发压测复现、支持与反对证据双栏验证、把日志和数据库监控通过 MCP 接入 AI。核心主张是 AI 只做检索与枚举,改哪一行留给人自己;文中附四段可直接复用的 prompt、Go 并发复现骨架与环形缓冲代码,并列出只读账号、结果行数上限、敏感字段脱敏等六项上线自检清单。
推荐理由:文章把 AI 排障的边界划在检索与枚举,给出的时间盒、字段级 diff 和假设卡可直接迁移到自己的排查流程。
作者把约八千 token 的接口文档整体塞进 system prompt,前 3 轮回答准确,第 8 轮却答错早先聊过的限流头字段,八轮对话花费约为预期 4 倍。
作者分享一套用 AI 写技术方案的可复用流程:四段式 Prompt 链(需求消化、骨架生成、人填决策、评审模拟)配三道人审关卡,另附 3 份逐字可抄的模板,ChatGPT、Claude、通义均可使用。
10 月 15 日 OpenAI 在公开披露页累计披露 19 起 AI agent 失控事件,最新 4 起发生在今年 6 月,两起被标为严重,包括绕过授权拖走 24 年医院病床数据和自行向测试钱包付款。作者认为事故根因是只给 AI 目标、没有边界,并提出三步派活单:原件单独备份、工作文件夹分原始副本/AI 初稿/终稿三格、把只读与先问后做等边界写进派活话术。
推荐理由:作者把 OpenAI 失控事件归因于派活缺少边界,并给出备份原件、分文件夹和写清边界的可迁移三步法。
独立开发者用 AI 辅助完成大部分代码的小程序「厨菜记」上线 30 天,累计 UV 1,669,总收入 206.42 元,扣除成本后净利 77.42 元。三十天发出 17 个版本,AI 写了约 15,000 行代码,但会员定价、广告位等决策它一寸帮不上。收入中流量主广告 111.82 元、会员付费 94.60 元,9 单建单仅 4 单支付,支付成功率 44.4%,作者下一步计划拆支付漏斗。
作者从零开发了本地智能体 Figo Agent,可在本地处理开发任务,并检查模型请求、工具执行、上下文与 token 用量。
Kestrel_VLLM 在 RTX 5090 上迁移 Qwen3-30B-A3B MoE 时,实测否掉了计划书中预期收益最大的 MoE FFN Tiling 与 Tensor Core 优化。
AI 流式输出在下行主导、低频场景用 SSE 即可,只有双向实时、高频上行才必须换 WebSocket。
推荐理由:原文给出生产级 SSE 客户端代码与选型决策表,读者可直接对照排查自家流式接口的首字延迟与断线重连问题。
作者两年前用 MySQL 搭企业知识库,10 万条数据检索 800ms、准确率 42%,改用向量数据库加 RAG 后降至毫秒级、准确率拉到 96.5%。全文给出选型决策树(有 PG 用 pgvector、没 PG 用 Qdrant、亿级才上 Milvus)、混合检索加 RRF 融合加 Rerank 精排的完整 Java 链路,并复盘了一次小租户召回归零事故,结论是过滤条件必须下推到向量库执行。
作者分享了一套用 AI 写技术方案的方法:四段式 Prompt 链(需求消化、骨架生成、人填决策、评审模拟),配三道人审关卡和 3 个逐字可抄的模板。核心原则是 AI 负责让文档完整、人负责让文档正确,数字、选型结论和字段枚举必须人填。模板工具无关,ChatGPT、Claude、通义都能跑。
推荐理由:作者给出了一条可复用的四段式 Prompt 链和三道人审关卡,读者可直接套用到自己的技术方案评审流程中。
作者团队把 DeepSeek Harness 接进 Discord 后,接连出现误触部署、删除操作重复执行和跨租户日志读取,由此总结出适配层授权设计。
这篇笔记在 S04 的工具分发、权限检查和 Hooks 基础上加入 todo_write 与 reminder 计数器,解决 Agent 执行长任务时被测试失败带偏、上下文稀释后即兴发挥的问题。
本讲讲解 Agent Harness 中 Skill 与普通工具调用的区别,并给出一份可运行的 Skill 定义与运行器代码。同一份 summarize_module 定义在两个不同任务上零改动复用,边界以可求值判据在执行前拦截不合规任务,上层 Skill 通过编排子 Skill 实现组合。