Hugging Face:为什么你的微调任务比 FLOPs 预估的更耗时
Hugging Face 基于 272 个生产环境 SFT 任务(约 7,382 GPU 小时、NVIDIA H200)发现,常用 FLOP 预估与实际耗时偏差很大(R² = 0.31,MAE 12.41 h),而仅用派发前配置信息训练的 CatBoost 回归器达到 R² = 0.98、MAE 1.71 h、中位误差 0.51 h。
Hugging Face 基于 272 个生产环境 SFT 任务(约 7,382 GPU 小时、NVIDIA H200)发现,常用 FLOP 预估与实际耗时偏差很大(R² = 0.31,MAE 12.41 h),而仅用派发前配置信息训练的 CatBoost 回归器达到 R² = 0.98、MAE 1.71 h、中位误差 0.51 h。
Amazon 研究团队提出 PACE(Planner-Aware Context Engine,规划感知上下文引擎),依据 Agent 任务规划提前保护未来所需 Token,并对驻留 Key 重新编号、同步调整 RoPE 旋转,控制历史 Token 与当前查询之间的位置距离。
Google Research 报告称,Antigravity /teamwork 多智能体工作流结合 Gemini 4 Argon 等模型,在数学、形式化验证、分子化学和系统工程领域取得一系列成果,相关工具已开始向外部研究者和开发者开放。
推荐理由:原文用大量实例说明并行探索加独立证伪器的多智能体模式如何攻克多年未解难题,读者可据此设计自己的验证式工作流。
微软研究人员发现名为 Lazarus 的后门技术:只需重编程 LLM 中不到 10 个休眠神经元、无需训练,就能让基于该模型的智能体在隐藏触发条件出现时执行攻击者命令,且模型仍能通过标准安全评测。
推荐理由:原文给出了只需重编程少数休眠神经元即可植入后门的机制,读者可据此理解权重审计与来源校验为何是关键防线。
11月9日,百度文心首次披露 RSI 最新进展,公布自动研究系统 ERNIE Evolve,已用于即将发布的文心 5.5 Flash 推理优化。该系统在 NanoChat AutoResearch 和 NanoGPT Speedrun 两项任务的三个评测指标上取得目前公开验证的 SOTA 表现,并在昆仑芯 P800 低时延场景将生成速度提升至基线的 623.6%。
开源基准 CloudOpsBench v1.0 发布,包含 45 个 AWS 任务,用于评估 AI 智能体处理云运维任务的能力。测试中 Claude Fable 5.1 解决了 60% 的任务,GPT-6 Astra 为 53%,没有模型完成全部任务。密歇根大学 Ang Chen 团队发现约 80% 的失败源于推理缺陷而非知识缺失,约 20% 为错误操作,其中部分对基础设施造成不可逆后果。
北京大学孙仲联合 IBM 苏黎世研究院与硅谷 Unconventional AI 在 Nature 旗下期刊发表综述,为「现代模拟计算」立下正式定义:以阻变存储器等新型纳米器件为硬件基础,核心原语为解微分方程、解矩阵方程与矩阵向量乘法。
DeepSeek Harness 团队发表技术文章《Super-agent 设计探索:迈向更自主的 Agent 系统》,提出由 Router 统筹协调、Worker 独立执行的双层架构,让 Agent 跨会话连续交互、多任务并行并主动响应环境事件。
推荐理由:原文给出了 Router/Worker 双层架构、触发机制与实验数据,读者可据此理解多 Agent 协作的设计取舍。
逐际动力更新开源具身工程底座 FluxVLA Engine 的第二版技术报告,加入在线强化学习后训练实验并扩展仿真评测与真机部署覆盖。
中国信通院等机构联合发布《大模型词元服务性能监测报告(2026 年)》,显示 2026 年国内大模型每秒吞吐量与归一化均价较 2025 年均接近翻倍。8 月国内模型平均 TPS 为 78.23 个/秒,2026 年以来归一化均价 13.46 元,而 2025 下半年为 6.8 元;平均 TTFT 升至 1.26 秒,上下文达 1M 的模型占比 47.8%。
Hugging Face 预览 VocabX 论文成果:围绕 token 成本而非频率专精词表,可在不改变基座模型的情况下将真实应用中的推理成本削减 77%。在基于 Qwen3-4B 的葡萄牙语作文自动批改系统中,该方法将输出层词表从约 152,000 行缩减至约 65,000 行,有效降低了内存带宽受限的解码开销。
论文把十种代表性视觉 token 剪枝方法放到三个多模态模型系列上复测,发现通用问答近乎无损的同时,OCR 与视觉定位大面积崩坏,保留九成通用成绩时定位成绩可只剩不到一成半。
GFLOPS 的 Ryosuke Suzuki 在 arXiv 发表论文(arXiv 2610.21300):把 70 个医疗器械合规评估 prompt 以字节相同的请求发给 14 个商业部署(7 个模型、3 家提供方、6 条调用路径),连续两天每天 5 遍,没有一个部署能复现自己的全部回答,12 个连「满足/不满足」标签都变过,引用段落的漂移比标签翻转更普遍。
量子位智库发布《Agent驱动的企业智能化》报告,指出企业AI落地面临任务定义、数据可信度等六大断点,并提出全链路破局框架。报告列举网易智企数帆等案例,三花智控预算分析耗时由2-3小时压缩至10分钟,空格数智科技开发周期从60人天缩短至16人天。报告建议企业先在高价值场景跑通闭环,再沉淀可复用资产以实现规模化复制。
苹果研究团队公布名为 Minions 的系统研究,尝试将闲置 Mac 的 Apple Silicon GPU 聚合成可动态调度的虚拟 GPU 云,用于运行大规模机器学习推理任务。
Bloomberg Intelligence(彭博行业研究)发布 AI 数据中心成本简报,指出在美国得克萨斯州阿比林市建设一座 1GW 数据中心的开销可达 307 亿美元(约合 2,058.69 亿元人民币)。其中芯片和服务器硬件设备占据过半的 171 亿美元,电力供应基础设施消耗 30 亿美元,冷却系统 16.6 亿美元,网络布线 10.7 亿美元,另有土地、设计、施工、应急准备金等费用。
YouTube 频道 Jun Yamog 将 4 张英伟达 Tesla V100 组成 NVLink 集群,在 Qwen3.8-Flash-Next 推理测试中跑赢 2 台 DGX Spark 与 M5 Ultra。
字节 Seed 团队今年 9 月底在 arXiv 提交论文,指出分块 KV 缓存压缩引入的相位敏感性是 DeepSeek 长上下文性能漂移的原因。研究评估了 DeepSeek-V4-Flash、DeepSeek-V4-Pro 与后训练版 DeepSeek-V4.1-Flash,发现同一信息在不同相位下的检索难度系统性不对称,长上下文检索准确度可相差高达 40 个百分点。
微软亚洲研究院提出 Harnessed Agentic RL 训练范式并开源 Agent Lightning v1.0,让部署时使用的 agent harness 通过 LLM proxy 直接参与强化学习,无需在训练框架中重新实现 agent。
推荐理由:核心可迁移点在于把部署用的 harness 直接接入 RL 训练,省去在训练框架中重写 agent 的成本。
Google Research 宣布新一代联邦学习系统,利用可信执行环境(TEE)提供完全可验证、可审计的数据匿名化保证,Gboard 已率先采用。新系统由客户端加密上传与访问策略、基于 RAFT 共识的 KMS 密钥管理、用 Federated Language 编排的 TEE 训练循环以及加密恢复状态协同工作,训练时间从此前的 1-2 个月大幅缩短,同时模型准确率提升。
推荐理由:原文对比了新旧联邦学习系统在隐私可验证性与训练效率上的差异,读者可了解 TEE 如何移除对服务器运营方的信任依赖。
Michael Levin 发表论文提出"柏拉图心灵空间"假说:心灵是非物理的模式,身体与机器都是这些模式进入物理世界的接口,心脑关系如同数学与物理学的关系。论文以 xenobots、anthrobots 等生物机器人及排序算法实验为例,论证简单系统也能涌现出超出其自身定义的复杂行为。作者认为该框架或可为理解人类心灵与 AI 心灵的关系及对齐问题提供新线索。
K-Search 为进化式内核搜索框架新增 MLX 后端,通过结构化 CUDA-to-MLX 翻译层将现有 CUDA 内核自动适配为 Apple Silicon 的高质量 GPU 内核,无需从零重建。
Berkeley AI Research 的分析指出,自适应并行推理正成为高效推理扩展的下一个范式——由模型自行决定何时分解子任务、生成多少并发线程并加以协调。