Linux 程序性能分析实例:用 perf 定位大模型推理程序空载占用 200% CPU 的问题
作者基于高通参考代码自研的大模型推理程序在无任何 HTTP 请求时空载占用约 200% CPU,通过 perf record -a -g -F 99 -p target_pid 采样并借助提前准备的符号文件还原堆栈,定位到 qualla::ThreadPool::loop 线程死循环。
作者基于高通参考代码自研的大模型推理程序在无任何 HTTP 请求时空载占用约 200% CPU,通过 perf record -a -g -F 99 -p target_pid 采样并借助提前准备的符号文件还原堆栈,定位到 qualla::ThreadPool::loop 线程死循环。
阿里宣布旗下 AI 智能体“千问 Go!”上线“我的应用”功能,用户无需编程、说出需求即可搭建用于生活、工作和学习场景的应用,生成的应用支持对外分享并持续更新数据。
GnuWin32 把 grep、sed、find、awk、coreutils 等 GNU 工具逐个移植成原生 Windows 可执行文件,补进 PATH 即可解决 Claude Code 在 Windows 上因缺少类 Unix 工具链而报错的问题。
作者用 Vibe Coding(Trae CN + DeepSeek Flash V4.1)搭建了一个跑在浏览器里的个人数据工作台,保留 Alteryx 的画布式工作流、SSIS 的编排与调度、Power BI 的拖拽报表。
10月15日,重庆达瓦科技凭借实时世界模型产品 Scenes AI 在 2026 NVIDIA 创业企业展示半程展示上拿下「半程展示卓越企业奖」。该产品不预测下一帧,而是维护场景、人物、相机、灯光等可单独读写的世界状态,只更新发生变化的局部,目标编辑成功率为 98.2%、人物身份保持率为 93.3%。
Amazon SageMaker AI 的多轮强化学习(MTRL)以整个任务序列的最终成败为奖励信号,用 GRPO 更新 LoRA 适配器来训练智能体。在 Wordle 示例中,MTRL 将 GPT-OSS-20B 在预留词上的解题率从 61% 提升到 84%(低推理强度下从 15% 升至 69%),训练 token 成本约 $339。
Bayer Crop Science 基于 Amazon Bedrock AgentCore 构建了多智能体自然语言接口 Agentic Decision Engine(ADE),用于理解其 Connected Decision Engine 的 ML 工作流,首阶段约 80% 的用户问题无需工程师介入即可解决。
AWS 提供可复用的 CDK construct,用 CloudFormation 自定义资源在 SageMaker AI 端点更新前后自动注销并注册自动扩缩容,单次部署即可同时更新端点配置与扩缩容参数,无需人工干预。
OpenAI 通过可靠的多租户架构、全球缓存和 Azure Cosmos DB 扩展了 Habitat 存储系统,使 ChatGPT 读取速度提升 12×。该在线存储架构用于支撑超过 10 亿 ChatGPT 用户。
Hugging Face 推出 torch-neuronx model support Space,可查询 Hub 上热门模型能否不修改即在 AWS Trainium 上运行,并提供可复现的运行脚本。
华为云RDS Supabase AI应用正式开放公测,基于开源Supabase与华为云RDS PostgreSQL全托管能力提供开箱即用的BaaS服务。Data API、Auth认证、Storage存储、Realtime实时四大核心能力几行代码即可接入,内置pgvector向量检索,并支持通过MCP协议让AI Agent直接操作数据库。
示例讲解 Spring AI Alibaba 的 ChatMemory 对话记忆持久化、文生图、文生音与文本向量化功能。
作者开源发布 Agent YOLO,一个跨 IntelliJ、Visual Studio、VS Code 三端的 AI Agent 扩展器:面板列出 PATH 上探测到的 Claude Code、Codex 等命令行工具,一次点击即在 IDE 内真实可交互终端里拉起,输出中的文件路径、堆栈帧、类型名、URL 均可点击跳转到代码。
Meowcute 项目在单张 RTX 4090 上用 Qwen-Image-2.1 全离线生成角色四视图:正视图由文生图产出,侧/背/右三张以正视图为参考图按中文指令逐张推导,再用纯 numpy/PIL 确定性拼板。
中国信通院等机构联合发布《大模型词元服务性能监测报告(2026 年)》,显示 2026 年国内大模型每秒吞吐量与归一化均价较 2025 年均接近翻倍。8 月国内模型平均 TPS 为 78.23 个/秒,2026 年以来归一化均价 13.46 元,而 2025 下半年为 6.8 元;平均 TTFT 升至 1.26 秒,上下文达 1M 的模型占比 47.8%。
作者用 Python 演示如何以约 40 行代码跑通 RAG 最小闭环(切分、向量化、检索、生成),再逐步加入阈值过滤、BM25 混合召回、交叉编码器重排与权限隔离。核心主张是数据质量优先于模型、检索质量决定约 80% 的效果,建议先跑通再按瓶颈逐层优化,并给出 chunk_size 默认 500 字符、相似度阈值 0.6–0.75、检索命中率 0.8 及格线等可复用参数。
谷歌 10 月 22 日宣布推出智能体计算引擎(Agent Compute Engine,简称 ACE),为每个 AI 智能体提供硬件隔离的独立 microVM,使其能安全执行代码、调用工具并完成多步骤任务。
这篇教程以简历信息抽取为例,演示用 Pydantic 校验大模型输出:先从返回文本里抠出 JSON,再按 schema 做类型、范围与跨字段核对,失败后把错误信息回喂模型重试。全程用模拟数据,pip install pydantic[email] 即可跑通,并附接真实 API(temperature=0)以及 LangChain、LlamaIndex 结构化输出的对接方式。
推荐理由:原文给出了一套可直接复用的 LLM 输出校验写法,读者能照着把 prompt 里的口头约定变成每次调用都执行的代码契约。
NVIDIA CEO 黄仁勋访问哈萨克斯坦,推动当地 AI 算力建设。Firebird 签署协议引入 45,000 块 NVIDIA Grace Blackwell GPU,预计 2027 年第三季度商用,规划容量约 500 兆瓦。NVIDIA 宣布投资 Higgsfield AI,Kazakhtelecom 明年将部署超 1,000 块 NVIDIA Vera Rubin GPU。
AI 进化社推出开源企业级一站式 AI 智能测试平台,将分散的 AI 测试能力整合为统一可复用的企业级解决方案。平台采用六层架构设计,支持插件化场景扩展与私有化部署,通过 AI 网关统一调度云端与本地大模型。技术栈基于 Python、FastAPI、LangChain 与 Vue 3,覆盖自动化、性能、安全及 AI 测评全场景。
10 月 21 日,黄仁勋在 GTC 柏林确认 Vera Rubin 平台已全面量产,并发布 DSX POD 模块化 AI 工厂参考设计与 OpenShell 企业参考架构。
企业 AI 的竞争优势正从“选哪个模型”转向围绕模型构建的 serving harness——即决定架构、内存管理、调度与优化的外围工程系统。文章主张从业务负载而非模型本身出发选型,坚持“先测量再优化”,并让架构能吸收模型与硬件的持续迭代。EXL 在其 Engineering the Harness 系列中对这些生产落地问题作了更深入的探讨。
MIT Technology Review EmTech Future 会议的一场分享指出,可扩展 AI 系统需要数据、工程、平台、运营模式与治理协同运作。Vanguard 人工智能与洞察中心(CAI)负责人 Jing Wang 探讨了在高度受监管环境中构建这一基础,以及负责任地落地智能体(agentic)系统等新兴能力,为投资者创造长期价值。
Amazon SageMaker AI 的 serverless 模型定制推出 training session APIs,把 forward_backward()、optim_step()、sample() 等 GPU 操作封装为 API 调用,模型常驻托管 GPU,服务负责分布式执行、梯度同步、容错与检查点,训练循环由用户在本地 Python 进程中编写。
推荐理由:原文把新 API 与 SageMaker 现有模型定制方案逐项对比,并给出可迁移的 GRPO 训练循环写法,读者可套用自己的奖励函数。
AWS 宣布 Amazon SageMaker AI 无服务器模型定制的训练会话正式可用,用户自己编写并协调后训练循环(含自定义损失函数和奖励信号),由 SageMaker AI 负责 GPU 分配、分布式执行、故障恢复与检查点存储。
同一新闻,精选展示《使用 Amazon SageMaker training session APIs 编写自定义训练循环,无需管理 GPU》
Modal CEO Erik Bernhardsson 在完成 7.5 亿美元 Series D(估值 160 亿美元)后接受 Latent Space 采访,解释 GPU 容量合同为何与真实负载错位。
Google 发布 Agent Compute Engine,为每个 AI 智能体提供独立隔离的微型虚拟机(microVM),由 Titanium 芯片提供安全保护;该服务已支持 Gemini,将在未来几个月开放预览。
Rescale 用 AWS 的 AI-DLC 框架构建 AI 测试分诊智能体,5 天内完成从问题定义到预发布部署,数周内进入生产。该智能体运行在 Amazon EKS 的 Argo Workflows 流水线中,调用 Amazon Bedrock 上的 Claude Opus 4.8,将夜间 Playwright 测试失败分类为基础设施问题、代码缺陷、不稳定测试或环境问题。
该方案将 82M 参数的 TTS 模型 Kokoro-82M 以自定义容器部署到 Amazon SageMaker AI 实时端点,用实测数据替代猜测的自动扩缩容目标。
Moshi CEO Anekha Sokhal 在 AI Engineer New York 与 swyx 对谈,讲述她从 JPMorgan 能源衍生品交易员到创立 Moshi 的经历。
NVIDIA 发布 AIOps 平台 Minerva,为 AI 工厂提供端到端可观测性。该平台汇聚基础设施与 AI 工作负载的遥测数据,构建动态知识图谱,每小时分析数十亿数据点以检测异常、预测故障并定位根因。
作者把 lieflat-less-ai-tone 的人机对照统计做成一个零依赖的单文件网页工具,可在浏览器本地检测 AI 文风痕迹,再调用大模型改写。规则来自 629 篇、282 万字、95,551 句的人机对照,11 项特征成立、15 项是误会,其中 3 项方向相反。
推荐理由:作者把 629 篇人机对照统计落成可离线运行的单文件检测工具,并明确列出不成立特征,避免误改。
OpenAI 阐释了 Forward Deployed Engineering(FDE)的含义,说明这一概念在 OpenAI 的具体所指。
大模型训练与部署场景下的 NVIDIA 显卡按架构分为 V、A、L、H、B 等代,实际算力随浮点精度(FP32/BF16/FP8)与稠密/稀疏口径产生数十倍差异。
FunAsrNet 是基于 QwenAudio/Fun-ASR 固定版本架构的社区实现,用 .NET 10 和纯 C# 完成普通话 ASR、实时转写、中文 TTS 和电话音频处理,不依赖 Python、ONNX Runtime、ggml、sherpa-onnx 等任何原生推理库,仓库里甚至自带一个只覆盖目标模型算子的 ONNX 解释器。
这套架构以 FreeSWITCH 只做执行层,配置经 xml_curl 入库,ESL 接管呼叫控制,构建通用智能电话平台。AI 能力通过可插拔 WebSocket 协议接入,同时覆盖浏览器软电话验证、话单口径与防盗打等实践要点。
Kestrel_VLLM 用 stub 探针定位真瓶颈并叠加四个小优化,将 Qwen3-30B-A3B 的 decode 速度从 52.7 提升至 118.8 tok/s(19→8.4 ms/tok),总加速 2.25×。
一个 9,000 条的同步任务撞上平台抽风夜,裸奔组 12 分半烧穿 20,000 次月额度,任务只完成七成五,收尾还对着墙撞了五分多钟。守护组用六成额度把任务跑完。
AI 全栈工程师需要打通算法、工程与应用三层能力,学习路线分为基础、模型、工程、应用四个循序渐进的阶段。基础阶段掌握 Python、NumPy、Pandas 与数据科学,模型阶段用 PyTorch 跑通神经网络"训练—验证—预测"闭环。
作者用 WorkBuddy 等 AI 编程助手开发了电脑配置体检、开发配置速查、电脑空间管家三款 uTools 插件,并完整复盘了协作开发的方法。核心经验是先把场景、界面和验收标准讲清楚,让 AI 先查 uTools 官方文档再动手,每写一块功能就配套自测脚本,评分口径和删除规则等取舍由自己拍板。空间管家实测在 56 万个文件的用户目录下约 40.8 秒扫完。