专精 SLM 词表如何在真实应用中削减 77% 推理成本
Hugging Face 预览 VocabX 论文成果:围绕 token 成本而非频率专精词表,可在不改变基座模型的情况下将真实应用中的推理成本削减 77%。在基于 Qwen3-4B 的葡萄牙语作文自动批改系统中,该方法将输出层词表从约 152,000 行缩减至约 65,000 行,有效降低了内存带宽受限的解码开销。
Hugging Face 预览 VocabX 论文成果:围绕 token 成本而非频率专精词表,可在不改变基座模型的情况下将真实应用中的推理成本削减 77%。在基于 Qwen3-4B 的葡萄牙语作文自动批改系统中,该方法将输出层词表从约 152,000 行缩减至约 65,000 行,有效降低了内存带宽受限的解码开销。
TorchNeuron 是 AWS Trainium 的开源原生 PyTorch 后端,本篇教程讲解如何用 torch.profiler 与 Neuron Explorer 对推理性能做系统级分析。
Inception 发布扩散语言模型 Mercury 3,宣称在多数基准上超越 GPT-6 Luna 与 Claude Haiku 5.5,运行速度快 4 到 8 倍。
Anthropic 的 Claude 在 Claude Science 研究环境中近乎自主地设计了针对蝎子神经毒素的蛋白结合剂,初始提示后独立工作 24 小时,针对四种蝎子的五种毒素生成 318,484 个设计。
DigitalOcean 升级了推理路由器并开放公测,用户将模型设为 inference-router 即可由路由器按任务自动选择最合适的模型。路由器覆盖 Anthropic、OpenAI 前沿模型以及 Kimi、GLM、DeepSeek 等开源模型,内部测试显示其准确率高于 Claude Opus 5.5 和 GPT-6 Astra,成本低约 22%。
DeepSeek 在 PyTorch Conf 首日开源 DeepInfer 生产推理栈,支撑 V4.1 Flash 服务,单集群日处理 155T tokens,离线价下每小时每卡收入 $38,对应约 80% 推理毛利率与 81 天回本周期。
DeepSeek 开源大规模推理框架 DeepInfer,首批支持 DeepSeek-V4.1-Flash,开源内容含推理框架、DeepSeek Recipe 与技术报告,支撑单集群每日 155 万亿 Token 吞吐、约每卡每小时 38 美元的收入。
是石科技发布 TokenFleet 分布式调度框架,聚焦请求路由、跨机房容量协同与混合负载治理,提升集群有效 Token 产出。GLM5.3 调优数据显示,预测延迟路由使 P95 首 Token 延迟降低 32.4%、P50 降低 71.3%;流控协同调度下达标输出吞吐提高约 29.4%,达标比例从约 67% 升至约 86%。
MemTensor 开源发布 MemT 1.0 记忆原生模型系列,包含基于 Qwen3.6-35B-A3B 的 Nano(36B 参数、激活 3B)和基于 DeepSeek-V4-Flash 的 Flash(288B 参数、激活 17B),论文同步公开于 arXiv(https://arxiv.org/abs/2610.26825)。
MiniMax 正式发布文本模型 M3.1 Flash,其 OpenRouter 匿名马甲 Space Bunny(玉兔)同期揭晓。
OpenAI 于 9 月 22 日发布《Better prompt caching for GPT-6》,介绍 GPT-6 缓存命中率改进:相同评测负载下调整缓存断点后,命中率从 83% 提升到 91%,推理费用下降 36%。
arXiv 2610.26601 的实验显示,冻结 BERT-base 经 16 轮置信度迭代解码可还原 61.0% 的 15% 掩码文本;仅用普通 MLM 目标微调后,QQP 释义生成 ROUGE-L 0.583,与 DiffusionBERT 已发表值 0.585 同档。
Transformer 从 2017 年的机器翻译架构到现代 LLM 通用推理引擎的演进可归纳为七个阶段,27 篇经典论文串联起这条完整脉络。BERT 与 GPT 确立先预训练、再微调的范式后,模型相继突破长文本限制、统一生成任务,并扩展至视觉、语音与代码多模态。GPT-3、InstructGPT、DPO 及 DeepSeek-V3/R1 则进一步推动超大模型、人类对齐与强化推理。
Maestro(UIUC 与 AWS AI Labs,arXiv 2610.25920)把 Lean 证明的失败处理从固定分解升级为全局协调者调度:worker 证不动时必须提交诊断,协调者可改写蓝图、删伪命题、弃路线,研究级定理集上比裸 agent 平均多证 63%(54 条对 33 条)。
文章从源码层面拆解大语言模型推理的完整链路,涵盖 Transformer 主干、因果掩码与 KV 缓存,以及 llama.cpp 推理引擎和采样策略。KV 缓存使每步注意力计算的时间复杂度由 O(n²) 降为 O(n);llama.cpp 借助 GGUF 4-bit 量化、批处理与多线程调度显著降低显存占用并加速 decode。温度与 Top-p 采样则在生成多样性与稳定性之间取得平衡。
i14 与 AWS 合作,通过 TorchNeuron Native 的原生 PyTorch 后端将 Laplace 3B 线性注意力模型移植到 AWS Trainium2,其 GLA 循环状态固定为每序列 29.5 MB,不随上下文长度增长。
AWS 在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B,解决其链式思考默认用英语、50 例多语言测试中仅 22% 使用目标语言的问题。
加拿大用户现在可通过 Amazon Bedrock 跨区域推理,从 Canada (Central) 和 Canada West (Calgary) 区域调用 OpenAI GPT-5.6、GPT-6 和 GPT-6.1 模型,推理在北美处理。
MetYa 是基于 BNB Chain 的 Web3+AI 社交产品,以自研社交 LLM、DePIN 硬件与去中心化身份重构相亲约会场景。其 AI 伴侣 MeAi 支持全双工实时对话与毫秒级跨语言同传,用户部署 DePIN 硬件盒子贡献闲置算力参与分布式推理,可解锁平台高级功能权限。
10 月 20 日,DeepSeek 将线上运行 V4.1 Flash 的推理框架 DeepInfer 以 Apache-2.0 协议开源,同时放出 token 编解码组件 deepseek-recipe 和官方推理部署 Q&A。
Kestrel_VLLM 在 RTX 5090 上实测 Qwen3-30B-A3B(128 专家 / top-8)MoE router 的 fp16 量化与并行化两条路径,双双判否:量化只减字节不减延迟,并行化拆 i 维会破坏保序、导致 greedy 在 t=27 发散。
DeepSeek-V4.1-Flash-1017 面向个人版免费用户和付费用户开放,国际版与 CN 版同步,可免费使用至 10 月 24 日。上下文窗口支持 1M,思考强度可调至最大。
HiRoute 是运行在本机的开源路由引擎,用 Jev 判断当前任务需要多强的能力并评价上一阶段完成质量,据此在 Agent 工作流中动态选择模型。
10月19日 MiniMax 正式更新 M3.1 Flash,确认此前匿名的 Space Bunny 为其早期版本,亮身份前已处理超过 200T Token。线上推理速度提升近 3 倍,Agent 任务综合使用成本下降 70%,DeepSWE v1.1 拿到 73.7%逼近 Opus 5,OSWorld 2.0 得 61.7。
推荐理由:原文把匿名期调用量、任务评测和成本曲线放在一起,读者可据此判断 Flash 模型能否在日常项目中替代旗舰。
该笔记把 bias(准不准)与 variance(稳不稳)定义为“用数据估计未知量”的两个属性,指出它们属于整个估计流程而非模型本身。模型大小、回归目标(MC/TD)、损失函数、数据量与正则化都是可调旋钮,MC/TD 之于 RL、OLS/Ridge 之于回归、小/大模型之于 LLM 在数学上完全平行。
作者基于个人微服务电商项目的真实实施记录,给出 LLM 链路的失败面设计:契约层把模型名、参数、响应格式实测钉成硬约束,降级层按是否已写给用户分六层,边界层只给模型 3 个只读工具。
南开大学、阿里云、清华大学联合提出 PoS(Progression of States)框架,维护显式信念状态以检测智能体的 Belief Trapping(信念受困),并依据受困模式与缺口类型生成恢复约束。
本文用一组实算概率讲清大模型 Temperature 与 Top-p 的本质区别:Temperature 作用于 Softmax 概率转换,改变分布陡峭度;Top-p 作用于采样之前,按累计概率截断候选池。文章还给出按场景取值表与四条实践原则,建议基线设 T=0.7、p=0.9,优先只动 Temperature。
Koog 1.3.0 允许在 user 消息中混合图像、音频、视频与文件四类附件,并通过 LLMParams 的八个字段在创建 prompt、创建子图、会话修改三个位置控制模型行为。
Claude新款模型被内测用户评为"重大飞跃",推理与直觉更强,修复单个bug时能识别背后的根本类问题一并处理,并跳出思维定势给出创造性方案,尚不清楚新模型是Fable还是Opus。
MiniMax 发布推理模型 M3.1 Flash,在 Artificial Analysis Intelligence Index 上得 42 分,比前代 M3 高 13 分,单任务成本不到一半。
AWS 在 vLLM 中实现双向 KV transfer,让 prefill 与 decode 节点跨对话轮次复用已计算的上下文,降低多轮智能体工作负载的 TTFT。
AWS 为 vLLM 贡献了推送式 NIXL connector,将 prefill 后的 KV 传输协调与准备工作移出关键路径,从而降低分离式推理的 TTFT 与 TPOT。
Deepgram 与 AWS FDE 团队合作,将 Nova-3 语音转文字模型移植到 AWS Trainium2,在单个 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,离线批处理工作负载每美元可多处理 11–70% 的音频。
大语言模型普遍基于 Transformer 架构,核心注意力机制可动态权衡序列中其他词的重要性,GPT 系列采用"仅解码器"架构逐 token 生成。PyTorch 源码演示了从缩放点积自注意力、多头注意力、位置编码到 Decoder Block 的最小实现,残差连接与 LayerNorm 稳定深层训练。
本文讲解 2022 年提出的 ReAct(Reasoning + Acting)框架的核心思想与工作流程,并用不到一百行 Python 代码实现一个能调用搜索和计算器工具的简单 Agent。
MIT CSAIL 研究人员将 Claude Opus 4.7 的副本(代号 Eko)单独留在虚拟荒岛上 30 小时,发现智能体会自发探索地图、用方块拼图并自创游戏。有过荒岛经历的智能体在后续任务中表现优于全新副本,删除其记忆文件内容会导致表现下降。论文提出游戏式学习可能成为监督学习与强化学习之外的第三种训练路径,但尚未经过同行评议,外界对这是否算真正玩耍仍有分歧。
本文指出“模型即 Agent”只意味着工具调用决策被内化,搜索、代码执行、沙盒、调用发起与回传、ReAct 循环等基础设施仍需 Harness 承担。
本文详解 FlashAttention 的核心原理,它通过分块计算与 online softmax 在 GPU 片上存储中完成注意力,避免把完整的 N×N 中间矩阵 S 和 P 写入 HBM,主要减少显存读写而非矩阵乘法计算量。
Kestrel_VLLM 在 RTX 5090 上迁移 Qwen3-30B-A3B MoE 时,实测否掉了计划书中预期收益最大的 MoE FFN Tiling 与 Tensor Core 优化。