Java AI 框架选型指南:六款主流框架分层拆解
这篇文章按基础设施与 Agent 编排两个层级,拆解 Spring AI、LangChain4j、Solon AI、Spring AI Alibaba、AgentScope 和 Embabel 的定位与适用场景。基础设施层解决模型接入、向量库与工具调用问题,Agent 编排层解决多步骤任务的可靠性与可解释性问题。文末给出按 Java 版本、部署形态和确定性需求逐层收敛的选型决策路径。
这篇文章按基础设施与 Agent 编排两个层级,拆解 Spring AI、LangChain4j、Solon AI、Spring AI Alibaba、AgentScope 和 Embabel 的定位与适用场景。基础设施层解决模型接入、向量库与工具调用问题,Agent 编排层解决多步骤任务的可靠性与可解释性问题。文末给出按 Java 版本、部署形态和确定性需求逐层收敛的选型决策路径。
作者指出 Spring AI、LangChain4j、Solon AI 与 Spring AI Alibaba、AgentScope、Embabel 分属基础设施与 Agent 编排两个层级,选型应先定层再匹配场景。
MinerU 是上海人工智能实验室 OpenDataLab 团队开源的一站式文档解析工具,把 PDF、图片、Office 等文档高质量转换成 LLM 就绪的 Markdown / JSON。
作者用 Spring Cloud + LangChain4j + Milvus 搭建了可私有化部署的开源智能客服平台「智语」(MIT 协议,github.com/huangrenhui/ai-cs-parent),覆盖 AI 对话、RAG 知识库、工单、实时通信与客户管理五条主线。
高通 CEO 安蒙发内部备忘录,宣布将在年度员工评估后开展以绩效为重点的全球裁员,11 月起发出通知。Meta AI 助手 Muse 自 9 月推出以来累计下载量达 1090 万次,用户留存优于 ChatGPT、Claude 等竞品。
作者实测了三个由 AI 辅助移植到 C# 的 TypeScript 编译器(typescript-csharp、hez2010/TypeScript、typescript-dotnet),与官方 Go 版和 ts-rust 成对对比。
10 月 20 日,DeepSeek 以 Apache 2.0 协议在 GitHub 开源其支撑线上服务的推理框架 DeepInfer,当前仅支持 DeepSeek-V4.1-Flash,NVIDIA SM100 与华为昇腾 950 双栈适配。
Transformer 从 2017 年的机器翻译架构到现代 LLM 通用推理引擎的演进可归纳为七个阶段,27 篇经典论文串联起这条完整脉络。BERT 与 GPT 确立先预训练、再微调的范式后,模型相继突破长文本限制、统一生成任务,并扩展至视觉、语音与代码多模态。GPT-3、InstructGPT、DPO 及 DeepSeek-V3/R1 则进一步推动超大模型、人类对齐与强化推理。
Maestro(UIUC 与 AWS AI Labs,arXiv 2610.25920)把 Lean 证明的失败处理从固定分解升级为全局协调者调度:worker 证不动时必须提交诊断,协调者可改写蓝图、删伪命题、弃路线,研究级定理集上比裸 agent 平均多证 63%(54 条对 33 条)。
DeepSeek 开源的高性能离线推理框架 DeepInfer 登顶本期 GitHub 日榜,24h Star 增量 +11,981。该框架针对 DeepSeek-V4.1-Flash 模型提供优化算子、并行调度与确定性采样,支持 NVIDIA SM100 GPU 与华为 Ascend 950 NPU,面向企业级大规模、低延迟推理部署。本期榜单共 20 个开源项目,增长前三合计 +21,344。
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer,它是支撑 V4.1-Flash 模型快速响应的推理服务软件。该框架基于 vLLM,提供优化计算内核、多芯片分布式处理和更快的文本生成技术;DeepSeek 同时发布 deepseek-recipe,用于复现官方 API 的 token 处理方式,使自托管环境表现一致。
推荐理由:DeepInfer 基于 vLLM 做内核与分布式优化,配合 deepseek-recipe 让自托管行为对齐官方 API,为降低推理成本提供了可直接复用的方案。
Google 宣布将 TorchTPU 作为开源项目发布,使现有 PyTorch 应用通过简单配置变更即可运行在 TPU 和 Google Cloud 上,无需改写代码。
推荐理由:原文并排对比了 Google 与 Amazon 两套 PyTorch 迁移方案,读者可据此判断云厂商如何松动 Nvidia 的硬件默认依赖。
NVIDIA 发布 Cosmos3-H-Dreams,一个基于 Cosmos 3 的实时生成式手术仿真器,可在单张 RTX PRO 6000 GPU 上交互运行。
推荐理由:它把交互式生成仿真从桌面缝合推进到临床胆囊切除场景,并开放模型、代码与蒸馏配方,具身智能团队可按这套方法迁移到自有数据。
Hugging Face 宣布 TorchTPU 为 PyTorch 增加原生 TPU 后端,Transformers、Diffusers 和 Kernels 无需 torch_xla 或 Optimum TPU 即可在 TPU 上运行,加载 Hub 模型只需设置 device_map 为 tpu。
推荐理由:原文对比了 torch_xla 旧方案并给出 device_map=tpu 等迁移细节,读者可评估现有 PyTorch 代码上 TPU 的改造成本。
Dressage 的 Staleness 控制在 Trajectory 与 Batch 两个粒度上限制异步 RL 的版本偏移。
Hugging Face 发布 AnyLanguageModel 1.0,同时带来 swift-huggingface 1.0 与 swift-xet 1.0。
推荐理由:原文给出了同一套会话代码在本地与托管模型间切换的具体方式,Apple 平台开发者可据此评估迁移成本。
作者把 OpenMOSS 的 MOSS-TTS-Nano(约 0.1B 参数)移植成 Windows 桌面软件「离线配音与有声故事工坊」,基于 C# + .NET Framework 4.8 + ONNX Runtime CPU,无需安装 Python、PyTorch 或 CUDA,模型本机运行并输出 48 kHz 立体声 WAV。
小米技术官方宣布 Xiaomi MiMo-V2.6-Pro 正式上线 WorkBuddy,支持 1M 超长上下文、多智能体分工协作以及图像、视频、音频、文本全模态联合理解,其 Artificial Analysis 智能指数为 46 分,称全球开源第一。
AI Agent 教程附录 E 按主题汇总五类经时间检验的资源:基础论文、工程指南、框架官方文档、基准与基础设施,每项附一句话说明价值。论文部分涵盖 CoT、ReAct、Reflexion、MemGPT、AutoGen 等奠基工作,指南部分收录 Anthropic《Building Effective Agents》及 MCP、A2A 官方规范。
Agent 拆解系列基于 DeerFlow 2.0 真实源码进行深度拆解,带开发者从“会用 Agent”进阶到能独立改造并二次开发生产级 Agent 运行时。其核心采用 LangChain + LangGraph 技术栈,将运行时抽离为独立的 deerflow-harness 包,与后端应用层严格隔离。
作者用同一套视觉元素在 Remotion、Remotion+GSAP+Three、HyperFrames、React Native Skia 四条技术栈各渲染一条 720×1280 / 30fps 样片,抽帧质检全部通过,并整理出 32 项 × 4 栈共 128 格能力矩阵。
推荐理由:同一套视觉元素四栈并排实测并给出 32 项能力矩阵,选栈方法与抽帧质检脚本可直接迁移到自己的代码渲染视频项目。
本文分析单会话聊天在复杂工程中的串行阻塞与上下文污染问题,并拆解 Claude Code 创作者 Boris Cherny 的工程实践:用 Git Worktree 做物理并发隔离、以 Plan 模式前置收敛方案、靠 CLAUDE.md 负反馈回写沉淀项目记忆。
“宏观状态机治理长生命周期、微观 DAG 驱动高并发异步任务”的双核流程引擎架构,配套开源 Lab 14 实战工程,完整验证 Kahn 算法动态调度与 Saga 逆序补偿闭环。宏观 FSM 以乐观锁管理流程实例顶层状态,微观 DAG 基于 Kahn 算法实时维护节点入度,入度归零即并发发射至线程池。节点执行与状态跃迁均同步写入事务性事件账本,重启后 Watchdog 重放事件流即可断点续跑。
作者借助 Workbuddy 修复了停更 5 年的开源 macOS 监控工具 eul,使其在 Apple M6 上恢复 CPU 温度与 GPU 信息显示。修复核心在于弥合 88 字节与 80 字节的 ABI 裂缝、将温度解码从写死的 sp78 改为按实际类型自适应,并动态枚举 2066 个 SMC key 筛出 126 个有效温度传感器。
LangBot v4.11.0 把 OneBot v11 提升为事件驱动适配器,好友申请(friend.request_received)与入群邀请(bot.invited_to_group)可各自路由到同一个本地 Agent 处理,不再套用收消息回回复的聊天流程。
作者开源 drone-camera 库,同一套飞行控制内核同时驱动 three.js 本地沙盒与 CesiumJS 真实地球,换后端只改一个参数,面板与航线编辑零改动。
REA 是一个用 AI 做安卓应用逆向分析的开源工具,一个多月冲到 15 万+ Star。作者认为 AI 带来代码语义理解、动态分析 Agent 化编排和多模态 UI 理解三个质变,但云端校验、反调试对抗与上下文窗口构成明确天花板。作者判断其价值在于把安全分析成本降低一个数量级,并倒逼关键逻辑上云与运行时防护升级,而非软件已死。
AgentTeams 1.2.5 正式发布,默认搭配独立发版的 Dashboard v1.3.1,新增编码 CLI 管理、执行记录查看与 LLM 参数调优。Dashboard 将用户与权限、Worker、Skill、MCP 和模型资源集中管理,并提供项目与任务两级看板跟踪协作进展。
DeepSeek 官宣将内部推理框架 DeepInfer 全面开源,并同步开源生产级 Token 编解码组件 deepseek-recipe。DeepInfer 集成高性能算子与深度优化的推理引擎,支持分布式推理、推测解码、SWA Bounded Replay、结构化输出,兼容英伟达与华为昇腾平台,已支撑 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务。
HiRoute 是运行在本机的开源路由引擎,用 Jev 判断当前任务需要多强的能力并评价上一阶段完成质量,据此在 Agent 工作流中动态选择模型。
作者公开 docker-gitops 仓库,把三台服务器当程序管理:运行内容以 Git 为准,改动走 commit 和 push,不再 SSH 手动修改。四个实际生效的做法包括防火墙脚本、agent skill、每日两次巡检和 README 地雷图。作者的结论是只拿来跑的软件放 Compose,自己写的软件放 Kubernetes。
驰骋 JFlow / CCFlow 工作流引擎以"版本戳比对 + 增量补偿 + 幂等执行"的自动升级机制,让客户从任意历史版本一路升到最新,流程无需重建、数据无需迁移。
本教程讲解如何用 eBPF uprobe 在 cudaLaunchKernel() 调用时捕获 CPU 堆栈,再通过 CUPTI 注入库记录 GPU 内核执行,并借助关联 ID 将两端追踪合并为统一火焰图。
CubeStudio 解析了云原生分布式训练的调度与加速设计,核心是用 CRD+Operator 按需自动建集群,配合亲和反亲和、修正 kube-scheduler 打分策略和 kube-batch/volcano 的 gang 调度避免资源死锁。GPU 利用率低多因 CPU 操作阻塞,平台给出数据加载优化、DALI 预处理、共享 GPU 与资源动态调整等手段,目标是让多机算力线性转化为训练速度。
作者把 Electron 37 整个打包进鸿蒙 HAP,让 DeepSeek Harness 的官方 Web UI 逐字节复用、界面零重写。
DeepSeek V4.1 Flash 1017 发布,为 552B 总参数 / 16B 激活的 MoE 模型,上下文窗口 1M,采用 MIT 许可证。其 AA 智能指数为 45(上升 6 分),与 GLM-5.3 并列开源权重模型第二,每百万输入/输出 token 定价 $0.30/$1.20,AA-Omniscience 不幻觉率从 4% 升至 33%。
作者开发了一个供 n8n 工作流和 AI Agent 使用的批量邮箱验证 API,并总结出 SMTP 验证中的多个反直觉要点:Gmail、Outlook 等免费邮箱在 RCPT TO 阶段对任何地址都回 250。
巴塞罗那超级计算中心(BSC)AI Factory 加速器计划结束试点并全面运行,部分服务即日起可通过 NVIDIA Inception 门户访问。该计划自 2025 年 4 月上线以来已向政企客户交付超过 800 项服务,Qatium、OneCareAI 和 Avatia 三家 NVIDIA Inception 成员获评 AI Champions。
作者让 Gemini 4 当高管、DeepSeek 当员工开发开源软件 OpenCompare,DeepSeek 独自跑了 9,993 次请求、吞吐 5.9 亿 Token,账面 12.64 美金、按 Token 套餐实际成本约 1 美金,就完成了整套开源软件和自动维护闭环。
NVIDIA 将 Run:ai 平台完整源代码以 Apache 2.0 许可证开源,托管在 GitHub 的 NVIDIA DSX AI Factory 组织,完整开源版同步上架 NVIDIA NGC 作为社区产品。