跳到正文
10月22日周四
  1. Hugging Face Blog44

    专精 SLM 词表如何在真实应用中削减 77% 推理成本

    Hugging Face 预览 VocabX 论文成果:围绕 token 成本而非频率专精词表,可在不改变基座模型的情况下将真实应用中的推理成本削减 77%。在基于 Qwen3-4B 的葡萄牙语作文自动批改系统中,该方法将输出层词表从约 152,000 行缩减至约 65,000 行,有效降低了内存带宽受限的解码开销。

10月21日周三
  1. 掘金78

    拆解 DeepSeek 开源推理框架 DeepInfer:万亿级大模型的高效落地实战

    DeepSeek 开源大规模推理框架 DeepInfer,首批支持 DeepSeek-V4.1-Flash,开源内容含推理框架、DeepSeek Recipe 与技术报告,支撑单集群每日 155 万亿 Token 吞吐、约每卡每小时 38 美元的收入。

    同一新闻,精选展示《DeepSeek 开源 DeepInfer 拆解:一张卡一小时收 38 美元背后的成本逻辑》

  2. 量子位41

    首 Token 延迟降低 32.4%!是石科技发布 TokenFleet 集群调度框架

    是石科技发布 TokenFleet 分布式调度框架,聚焦请求路由、跨机房容量协同与混合负载治理,提升集群有效 Token 产出。GLM5.3 调优数据显示,预测延迟路由使 P95 首 Token 延迟降低 32.4%、P50 降低 71.3%;流控协同调度下达标输出吞吐提高约 29.4%,达标比例从约 67% 升至约 86%。

  3. 博客园42

    7 个阶段、27 篇经典论文:一文看懂 Transformer 如何催生现代 LLM

    Transformer 从 2017 年的机器翻译架构到现代 LLM 通用推理引擎的演进可归纳为七个阶段,27 篇经典论文串联起这条完整脉络。BERT 与 GPT 确立先预训练、再微调的范式后,模型相继突破长文本限制、统一生成任务,并扩展至视觉、语音与代码多模态。GPT-3、InstructGPT、DPO 及 DeepSeek-V3/R1 则进一步推动超大模型、人类对齐与强化推理。

  4. 掘金27

    大模型底层架构与推理机制源码深度剖析

    文章从源码层面拆解大语言模型推理的完整链路,涵盖 Transformer 主干、因果掩码与 KV 缓存,以及 llama.cpp 推理引擎和采样策略。KV 缓存使每步注意力计算的时间复杂度由 O(n²) 降为 O(n);llama.cpp 借助 GGUF 4-bit 量化、批处理与多线程调度显著降低显存占用并加速 decode。温度与 Top-p 采样则在生成多样性与稳定性之间取得平衡。

10月20日周二
  1. 掘金78

    MiniMax M3.1 Flash 发布:匿名 Space Bunny 身份确认,Agent 任务成本降 70%

    10月19日 MiniMax 正式更新 M3.1 Flash,确认此前匿名的 Space Bunny 为其早期版本,亮身份前已处理超过 200T Token。线上推理速度提升近 3 倍,Agent 任务综合使用成本下降 70%,DeepSWE v1.1 拿到 73.7%逼近 Opus 5,OSWorld 2.0 得 61.7。

    推荐理由:原文把匿名期调用量、任务评测和成本曲线放在一起,读者可据此判断 Flash 模型能否在日常项目中替代旗舰。

  2. 掘金34

    偏差-方差权衡(Bias-Variance Tradeoff):跨经典 ML、RL 与 LLM 的统一框架

    该笔记把 bias(准不准)与 variance(稳不稳)定义为“用数据估计未知量”的两个属性,指出它们属于整个估计流程而非模型本身。模型大小、回归目标(MC/TD)、损失函数、数据量与正则化都是可调旋钮,MC/TD 之于 RL、OLS/Ridge 之于回归、小/大模型之于 LLM 在数学上完全平行。

10月19日周一
  1. 掘金32

    大模型底层架构与AI源码深度剖析

    大语言模型普遍基于 Transformer 架构,核心注意力机制可动态权衡序列中其他词的重要性,GPT 系列采用"仅解码器"架构逐 token 生成。PyTorch 源码演示了从缩放点积自注意力、多头注意力、位置编码到 Decoder Block 的最小实现,残差连接与 LayerNorm 稳定深层训练。

  2. MIT Technology Review · AI57

    MIT 研究者把 Claude 困在虚拟荒岛上,它开始自发玩耍

    MIT CSAIL 研究人员将 Claude Opus 4.7 的副本(代号 Eko)单独留在虚拟荒岛上 30 小时,发现智能体会自发探索地图、用方块拼图并自创游戏。有过荒岛经历的智能体在后续任务中表现优于全新副本,删除其记忆文件内容会导致表现下降。论文提出游戏式学习可能成为监督学习与强化学习之外的第三种训练路径,但尚未经过同行评议,外界对这是否算真正玩耍仍有分歧。