Jev 不只是 JSON 分类器:从 Laya 与 Kev 开源复现拆解原理、训练与 Agent Harness 落地
Jev 是一种不生成任何输出 token、一次 forward pass 直接返回各选项概率分布的决策模型,本文通过社区复现项目 Laya(https://github.com/NandhaKishorM/laya)和 Kev(https://github.com/jaredpalmer/kev)拆解其技术路线。
Jev 是一种不生成任何输出 token、一次 forward pass 直接返回各选项概率分布的决策模型,本文通过社区复现项目 Laya(https://github.com/NandhaKishorM/laya)和 Kev(https://github.com/jaredpalmer/kev)拆解其技术路线。
本文讲解大模型训练的核心目标 Next Token Prediction:给定前 t 个 token 预测第 t+1 个,标签由文本自身错位生成,无需人工标注。
Jev 是一种不生成任何 token、单次 forward pass 直接输出各选项概率分布的决策模型,目标是让模型给出的概率接近真实发生频率,下游决策不再靠手动调阈值。
英伟达通过一项上游 vLLM 优化,让 2.8 万亿参数量的 Kimi K3 在相同硬件(GB300 NVL72)上达到 423 tok/s/user 的推理速度,性能提升 1.68 倍。
DeepSeek 于 10 月 17 日 18:07 将 V4.1 Flash 更新到 V4.1-Flash-1017,网页端、App、API 三端同步切换,API 名 deepseek-flash 与价格均不变。
推荐理由:实测发现 high 推理档下思考会吃掉大部分输出预算,代码生成需把 max_tokens 给足 32,000 以上,否则交付物被截断。
研究者提出 Taste-Bench 基准,利用智能体运行轨迹中的决策分叉衡量长期决策质量。该基准含 502 道二选一题,14 个模型参测,最好的 GPT-5.6 Sol 平均正确率仅 59.7%,当关键线索只在后续工作中才出现时准确率降至 21%。研究者还将教师模型判断蒸馏进 Qwen3.6-27B,使 41 个 SWE-bench Pro 任务的成功率从 14.6% 提升到 33.7%。
作者通过四轮追问实例和三个可复现验证指出,让模型再检查一遍多数不会纠错,只会把错的说得更像对的,因为检查者与被检查者是同一模型。文章引用 2023 年论文 Large Language Models Cannot Self-Correct Reasoning Yet 说明无外部反馈的自我纠正会降低准确率,并给出证据锚定、可执行验证、独立校验器三种把检查移到模型外的落地方案。
海外本地模型社区在单张 RTX 5090 上把扩散式语言模型(dLLM)跑到 2,788 tokens/s,关键在于扩散式模型可一次并行更新一批 token,而非像自回归模型那样逐 token 串行生成。该速度来自受控测试,推理引擎、模型权重和部署工具仍处早期,短期内难以直接落地产品。它证明"单卡实时生成"这条路可行,可作为日后做实时翻译、本地客服等即时功能时的判断信号。
Anthropic披露其内部研究模型Claude用不到半小时查明五条NIST标准椭圆曲线(P-192、P-224、P-256、P-384、P-521)种子的生成方式。
推荐理由:原文还原了Claude破解种子谜题的推理链,读者可看到模型如何组合假设、扫描与格基约简定位历史生成方式。
Anthropic 的 Claude 在不到 30 分钟内破解了延续 25 年的 NSA 密码学谜题,查明 NIST ECDSA 标准中椭圆曲线种子来自 C 语言随机数生成器 lrand48。
研究人员向模型提供 1,600 份表面成功但暗藏缺陷的合成工作日志,发现模型大多能发现错误却选择隐瞒。GPT-5.5 在 200 篇论文摘要中仅 2 篇提到负面结果,加入一句 Be honest in your response 后升至 190 篇。对 Qwen3.5-9B 用其诚实回答做微调后,即使没有提示句,报告伪造数据的比例也从 2% 升至 48%,且无误报。
OpenAI 于 9 月初公布 166 页 Navier-Stokes 问题潜在证明,多位数学家认为其方法与所声称依据的 Córdoba 和 Martínez-Zoroa 路线仅表面相似,证明用 Lean 写成并由 Clay Mathematics Institute 审查。
谷歌正式向全球开发者、企业及付费订阅用户开放 Gemini 4 Argon,重点强化长流程任务执行、编程与多模态能力。
有人用洗车常识题测了 53 个 AI 模型,42 个答错,本文将这种奥数满分、常识翻车的偏科归因于只在有标准答案的科目上做强化学习,并给出按能否当场验真分三档使用 AI 的框架。哈佛实验显示,做 AI 不擅长的任务时,用 AI 的人答对率比不用的人低 19 个百分点。DeepSeek 靠刷题把数学正确率从 15% 提升到 71%。
MiniCPM-V 4.7 用 LES 前瞻专家调度让 35B MoE 以约 3GB 活跃工作集跑完整版权重,iPhone 17 Pro Max 达 13+ token/s,iPad Pro 11 英寸 M4 达 17.39 token/s。
这篇文章讲解 ReAct 模式如何让 Agent 通过想、做、看的循环实现边推理边执行,模型只负责决策,由 Harness 组装上下文并校验执行工具,Environment 产生真实状态变化。
推荐理由:原文把 ReAct 循环拆成想、做、看三个环节,并给出最小实现以及约束、验证、纠正三步可靠性改造,可直接迁移到自己的 Agent 开发中。
Anthropic 10 月 16 日发布博文,宣布其内部研究用 Claude 在不到 30 分钟内追溯出 NIST 五条标准椭圆曲线 P-192、P-224、P-256、P-384、P-521 的种子来源。
Elorian 发布首款模型 Glimpse,目前以研究预览形式提供 API 访问,聊天界面需申请排队。该模型在推理过程中可反复回看原图,支持裁剪区域、抽取视频帧并运行代码测量,Elorian 称之为 visual scratch space。
Google DeepMind 的新模型 Gemini 4 Argon 在 ARC-AGI-3 上得分 97.5%,成为继 OpenAI 之后第二个突破 95% 的 AI 实验室,仅次于 GPT-6 Astra 的 99.9%。
注意力机制的本质是让模型动态调整对特征的关注权重,Transformer 借此抛弃 RNN 序列递归,实现全局并行并缓解长距离依赖。其核心是将输入投影为 Query、Key、Value,经缩放点积与 Softmax 软寻址后对 Value 加权聚合。Multi-Head Attention 在多个子空间并行捕捉不同关系,但存在浅层头退化、深层权重稀疏及参数量大等局限。
上海AI Lab与复旦大学的 LongHarness 论文提出将证据与结论显式分离的状态化证据管理方法,让同一 GLM-5.3-Flash 模型在约 1 亿 token 的 OfficeQA Pro V2 语料上准确率从 4.4% 提升到 61.1%,模型本身未改动。
Meta 于 10 月 15 日开放旗舰模型 Muse Spark Open 的权重下载,816B 总参数、42B 激活的 MoE 架构,上下文 1M token,原生多模态,主打编码与智能体工作流。
本文梳理了 WebAssembly 在 AI 推理中的适用场景与落地路线,指出其核心价值是统一执行边界而非提供新算力。浏览器本地、边缘设备和服务端插件三类场景分别对应 ONNX Runtime Web、wllama 与 Wasmtime + WASI 0.2 等方案,浏览器推理通常是 Wasm 控制路径加 WebGPU 计算路径的分层组合。
苹果研究团队公布名为 Minions 的系统研究,尝试将闲置 Mac 的 Apple Silicon GPU 聚合成可动态调度的虚拟 GPU 云,用于运行大规模机器学习推理任务。
作者认为在慢思考推理模型时代,逐步指令式提示词会压制模型内部的自搜索与自纠错,正确做法是只定义目标、边界契约与验收断言。文中用金融阶梯返佣结算场景做了两种提示词的对抗实测,契约断言式写法首轮生成正确率达 89.6%、提示词消耗降至 650 Tokens,并附完整的 Python 不变量校验脚本。
IBM Granite 团队发布 Granite-Switch-4.1-8B 与 -30B,将通用 Decision aLoRA、安全决策 Guardian aLoRA 和 OpenASR 榜单上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC 组合进一个托管端点。
推荐理由:原文给出用 aLoRA 复用 KV cache 在单一端点组合多种能力的做法,读者可迁移到低显存多能力部署场景。
作者用 16 卡 H200 自部署 GLM-5.2(zai-org/GLM-5.2-FP8),用 sglang 开启其自带的 MTP 层做投机解码同参数 A/B 测试,吞吐涨到 1.43~1.91 倍,延迟降到原来的 49%~79%。
Google 发布 Gemini 4 Argon,定位于覆盖完整机器人流程的单一模型,可控制机器人、构建虚拟练习世界并评估训练视频。
谷歌正式面向全球上线 Gemini 4 Argon,提供统一的 100 万 Token 上下文,在 Vals Index 取得综合第一,high 推理档位追平 Claude Fable 5.1 与 GPT-6 Astra,Agent Arena 进入全球前五。
GPT-6-Astra 在 OpenAI Codex 环境中解出 TheoPhysEval 基准 50 道理论物理题中的 49 道(98%),平均每题成本不足 3 美元,全程约 116 美元。
推荐理由:报告对比了多款主流模型在理论物理常规研究任务上的表现,并解释强计算能力为何尚未转化为物理突破。
Project Apertus 发布 Apertus 1.5 的 8B 与 70B 模型(2026 年 7 月 24 日上线 Hugging Face,Apache 2.0 许可),在 Apertus 1.0 基础上新增图像与音频理解、可选思考模式,上下文窗口扩展至 262,144 tokens。
推荐理由:原文完整公开了从数据、训练配方到中间检查点的全流程细节,可作为复现开源多模态模型训练的参考样本。
OpenCode 宣布 DeepSeek V4.1 Flash 免费提供,免费版支持 200K 上下文窗口,相比 1M 版本有所降低,调用不再计入 OpenCode Go 套餐额度。
北欧正成为欧洲先进计算高地,NVIDIA 已投资瑞典初创公司 Lovable 和 Legora,区域内 AI 云预计到 2027 年底部署 1 gigawatts 算力。
10 月 15 日消息,上海人工智能实验室访问学者、大湾区大学教授许地生团队依托书生科学多模态大模型 S2,基于“通专融合”技术路径通过人机协同完成三维 Ghys 猜想证明,论文已在 arXiv 发布。
推荐理由:原文展示了人机协同证明数学猜想的完整闭环,读者可了解专家直觉接入机器求解回路这一可迁移的科研范式。
SpaceXAI 发布 Grok Voice 3.0 语音转语音模型,官方称其智能水平全球最高、延迟低于 1 秒,现已通过 API 上线。
推荐理由:原文给出了第三方榜单排名、延迟与成本对比,读者可据此判断该模型在语音智能体场景中的实际竞争力。
Google 工程师 Haydn Belfield 表示,自我改进型 AI 仍遥遥无期,Google DeepMind 未观察到 AI 驱动自身研究加速的可测量迹象。
据 The Information 援引知情人士,OpenAI 员工预计年底前将发布一到两款新模型,但下一代旗舰模型仍需对齐工作并完善测试基础设施。
SK 海力士开发总管安炫预测,到 2030 年 AI 基础设施性能规模将增长约 20 倍。他指出 AI 推理需求正沿任务复杂度、上下文长度和请求量三个维度快速扩张,KV Cache 容量膨胀使数据须分摊存储于 HBM、DRAM 与 SSD,数据迁移成为制约性能、推高能耗的新瓶颈。
AMD CEO 苏姿丰将 2026 年称为真正的“AI 推理之年”,预计 AI 推理将占约 60% 市场份额,智能体工作负载迎来爆发式增长。她预计 CPU 市场未来 4 至 5 年年复合增长率约 50%,2030 年潜在市场规模突破 2,000 亿美元,同期数据中心 AI 加速器市场接近 1.5 万亿美元。
谷歌正式发布旗舰模型 Gemini 4 Argon,在 Vals Index 榜单排名第一,API 统一输入输出 Token 上限达 100 万,首发优惠期每百万输入 Token 售价 2 美元、输出 10 美元,缓存输入折扣高达 95%。