Amazon Bedrock 开放权重模型推出显式提示词缓存
Amazon Bedrock 的开放权重模型现已支持显式提示词缓存,用户可在 Chat Completions API 中用 prompt_cache_options 与 prompt_cache_breakpoint 标记可复用前缀,重复上下文直接从缓存读取,从而降低输入成本与响应延迟。
Amazon Bedrock 的开放权重模型现已支持显式提示词缓存,用户可在 Chat Completions API 中用 prompt_cache_options 与 prompt_cache_breakpoint 标记可复用前缀,重复上下文直接从缓存读取,从而降低输入成本与响应延迟。
AWS 官方博客讲解如何用 Amazon Bedrock 托管知识库的检索指令为每个租户定制答案。检索指令包含 persona、answerFormat、retrievalGuidance、answerPolicy 四个字段,作为托管且版本化的资源被各请求引用,可固定版本并逐租户灰度发布与回滚。
AWS 官方博客系统总结了 Amazon Bedrock Guardrails 中 Denied Topics 的八条编写最佳实践,指出误拦多源于按主题域而非用户意图组织话题。
推荐理由:文章把误拦问题归因到四种常见写法并给出八条可迁移的编写规范,读者可直接对照自查自家护栏的拒拦边界。
张善友将 Go 编写的 AI 网关 AxonHub 移植为行为等价的 .NET 10 版本 axonhub.net,并用 Orleans 的 actor 模型重建其并发内核,承载渠道选路、限流、OAuth 令牌刷新等有状态协调点,而 HTTP 接入与流式转发仍走普通 ASP.NET Core 管线。
本项目以全 CPU 方式轻量化复刻 KIMI K3 的 Multi-Token Prediction(MTP)训练层,并将其微调为 EAGLE-3 草稿模型用于投机解码。
开发者借助 Deepseek Harness 与 GLM 5.3 开发了基于 ComfyUI 的图片生成工具 Image Studio,支持文生图/图生图。项目采用 Node.js+TypeScript,按 SDD 与 TDD(覆盖率≥90%)分八个阶段推进,含 ComfyUI 客户端、工作流构建、REST API 与模型管理。
本篇在单 Agent 内核上新增一层 Orchestrator,用 systemPrompt 与工具白名单把同一内核装配成研究员、写手、审核员等角色,通过 runPipeline 与 runParallel 实现串行流水线与并行分派。
论文 OptiMer 提出一种跨行业权重混合策略:先对不同行业数据分别微调提取权重向量,再对向量加权组合,权重由 TPE 贝叶斯优化(基于 Optuna 框架)搜索,无需重新训练模型。作者用糖果、棉纺织、金属加工三个行业的业务数据复现,差异系数合并的 OptiMer 行业宏均 29.61,较混合训练提升 +0.75、较等系数合并提升 +1.42,但并非所有行业都优于混合训练。
本文解析 DeepSeek 官方开源的静态聊天示例 chat-demo(v0.1.1),该应用无后端,浏览器直接持 API Key 请求配置的服务。作者进一步拆解其五层架构、流式事件合并、附件引用、联网搜索与语音能力,并归纳 DeepSeek 六组 API 可拼出的三类产品形态。
本文系统讲解 Agent Harness,即把大模型封装成能读文件、跑命令、循环执行任务的智能体的那层软件,核心公式为 Agent = Model + Harness。
Keploy 是一个开源接口测试工具,不写用例,先跑业务把真实接口流量录下来,自动生成可回放的测试用例和依赖 Mock,回放时无需真实环境和数据库。项目 2022 年初开源,19.8K star,Apache-2.0 协议,Go 语言编写,两天前刚发布 v3.7.3,已进入 CNCF Landscape 名录。
Pixelium Design 这套 Vue 3 像素风组件库中,Card 的 canvas 边框位图在 Textarea 撑高布局后慢一帧重绘,出现只持续一帧的闪烁。
本文认为企业级AI在向量RAG、知识图谱和Agent工作流之上还缺一层本体论,用来统一定义业务概念、逻辑公理与动作边界。文章用毛利率口径不一致、供应商图谱标签混乱和80万元违规采购被放行三个故障案例说明缺失后果,给出五层企业AI架构和从20到50个核心概念起步的三步落地法,并区分了何时只用传统RAG、何时必须上本体组合。
ManagedCode.MCPGateway 是一个 .NET 库,把工具检索做成网关核心能力:进程内构建 RDF 知识图谱并用 SPARQL 做语义匹配,全本地、零外部依赖。
作者anye1991拆解了其开源的 YSL语枢-盾甲WAF,核心机制包括 14 层归一化链压缩变形载荷、YSL 语枢加权裁决把 AI 判断纳入多源投票、C2 中枢管理攻击生命周期并回灌情报,以及 DNA 防线默认不信任未知文件以拦截 WebShell。
文章用一条产线案例厘清三个概念:物理AI看AI输出是否驱动执行器并形成感知与行动的闭环,端侧AI看模型是否在终端本身运行,边缘AI看计算是否靠近数据源。端侧AI属于广义边缘AI,两者与云端AI按计算节点位置区分;谈边缘AI时还要分清边缘推理与边缘训练,后者的难度和成熟度差别很大。文章同时澄清了常见误读,例如端侧AI不等于完全不联网,边缘计算也不会自动消除延迟。
Windows 桌面日历 UCalendar 采用 Tauri 2 + React + TypeScript + Rust + SQLite 多窗口架构,后端近 40 个 Rust 模块。
该文讲解如何在 three.js/WebGL 的 3D 消防演练系统中实现事件联动与时间线复盘:以相对演练开始的毫秒数记录报警、通道封闭和人员位置三类事件,用初始状态加 reduceEvent 逐条重算还原状态,事件多时每隔 50 条存一个快照,拖到任意时刻从快照二分查找并补算中间事件。播放、暂停、倍速与拖动共用同一个时钟,统一调用 stateAt 渲染场景,保证同一时间点只得到同一份状态。
作者让 Codex CLI 接入观测云官方 OWL MCP,仅凭文档编号与故障描述即自主查到 PDF 解析失败的根因。实测全程 93.6 秒、8 次工具调用,Codex 依据 document_id=1042 的记录确认失败发生在 parse 阶段,根异常为 PDFBox 抛出的 Missing root object specification in trailer.。
作者对自己的 DeepSeek Harness 圆桌会议插件做了一次完全只读的 AI 审查,报出 58 个问题,其中 3 个阻断级全在发布链路上:pnpm-lock.yaml 与 package.json 不一致导致 CI 第一步就挂、npm publish 缺少 --tag、latest 标签停在两个版本前。
Agent Router(前身为 Envoy AI Gateway)是面向 AI 与 Agent 流量的开源控制面,由 Envoy 承载,把路由、凭证、配额、故障切换和用量归因收拢到统一网关层,同时提供 OpenAI 兼容入口并支持 MCP Server。
本文逐模块拆解 Moonshot AI(Kimi 团队)开源的专家并行通信库 MoonEP 源码,并给出 CPU 教学实现。
本篇为手搓 Agent 补齐两种记忆:短期记忆在历史轮次超阈值时自动摘要旧轮次、仅保留最近 6 个用户轮原样以防上下文溢出;长期记忆经 remember / recall 工具把事实落盘文件,并每轮将相关事实注入 system 提示,实现跨会话记忆。
一位大一新生通过 vibe coding 搭建了把 HTML/Markdown 博客内容转成可打印、可批注 Typst PDF 的转译器,管道由归一化(基于 all2md)、LLM 语义化生成 AST、Typst 渲染、6 项硬指标自检和"全有或全无"发布五个环节组成,LLM 仅参与语义化并用 schema 校验防止幻觉。
Magpie 是一个本地网关加菜单栏应用,它读取 Claude Code、Codex、GitHub Copilot 等编码 Agent 已登录的订阅,统一暴露成一个本机网关,让所有 Agent 共享订阅资源。
Anthropic 表示 Claude Opus 5.5 现已成为 Pro、Max、Ultra 和 Team 套餐的默认模型,并建议用户删掉“think hard”等继承自旧模型的提示词,因为该模型会自行推理并按任务与努力档位调整深度。
推荐理由:原文汇总了 Anthropic 官方对 Opus 5.5 的提示词建议,读者可对照调整旧用法,避免多余指令和过高档位增加成本。
SailFlow 是基于 Slickflow 二次改造、MIT 协议开源的可插拔中国式 OA 工作流引擎,面向 .NET 6 / 8 / 10,专攻加签、抢办、退回返送等国内审批场景。
美国一名 AI 爱好者借助 Claude 和 Arduino Nano 开发板,让一辆 32 年车龄的 1994 款 Jeep 切诺基通过加州尾气检测。Claude 查明车辆使用克莱斯勒 SCI 串行通信总线并完成大部分诊断,Codex 将自定义代码写入 EEPROM 芯片直接运行,全部电子元件成本不超过 15 美元。
张善友介绍了 GitHub 开源项目 LlmTestServer:它在本地模拟 OpenAI、Anthropic、Gemini 等 13 家 LLM 提供商的 API,应用只需改 base URL 即可用官方 SDK 做确定性测试。
作者认为文档结构定死后,维护应交给 AI 按严格格式读写,而不是人在高频开发中手动对账。文章复盘了自家工具链从 v0 迭代至今的三个事故:能力文件与工具版本失配导致审核规则未被加载、写入接口传空即删除、提交粒度按物理时间而非逻辑意图切分导致无法单独回滚,并给出对应的防线改造方案。作者总结称工具的职责是让隐性错误不易发生或尽快显形,这也是 harness 的本质。
本文拆解 Codex、Claude Code、Hermes Agent 与 pi 四款 Agent 的上下文压缩实现,对比触发阈值、摘要结构以及用户原话与工具输出的处理方式。
推荐理由:原文横向对比四家 Agent 的上下文压缩实现,读者可以看清触发时机、摘要结构与原始记录保留方式的取舍差异。
作者罗西的思考开源 Model-Viz 项目中的 Kimi K3 Stable LatentMoE 轻量化复刻,提供 12 个纯 CPU 可运行的 Gradio 交互 Tab,覆盖论文 §2.3 与附录 B/C/D。
AgentScope-Java 是阿里巴巴开源的 Java 智能体开发框架,让 Java 开发者无需切换到 Python 即可构建生产级 AI Agent 应用。框架提供轻量的 ReActAgent 和封装工作区、长期记忆、沙箱等工程能力的 HarnessAgent 两种入口,支持 @Tool 注解注册工具、文件驱动的多 Agent 协作以及 MCP 协议工具接入,并可切换状态后端实现分布式部署。
x3db 将玩家变量、背包、技能等游戏数据统一抽象为 (ownerid, storeid, objid) 三键定位的对象颗粒,用单表 13 列支撑全部业务读写。数据整份驻留内存,写操作改内存即返回并按 touched 位图稀疏落盘,实测单表 4 连接耗时 284ms,快于 4 张表的 306ms。该设计明确不做跨行事务与全局二级索引,统一的数据模型也为 AI 生成可运行的服务端代码提供了稳定底座。
作者用 digits 手写数字构造不平衡数据集做控变量实验,证明在全集上做 SMOTE 过采样再划分会让离线宏 F1 虚高 4.2 个点。正确做法离线 0.926、线上 0.786,泄漏组离线 0.968、线上 0.819,落差约 15 个点。
GS Caltex 打通了 Amazon SageMaker Canvas 与 SageMaker Pipelines 的生产 MLOps 流程,ML 工程师部署模型从约一周缩短到几小时。
Amazon Bedrock AgentCore runtime 的 V2 版本通过预先构建环境快照并按会话恢复,使会话启动更快更稳定。每个会话在独立隔离的 microVM 中运行,平台空闲时缩容至零,V2 还会回收会话未使用的内存以降低成本。文章给出四种加速启动的架构模式,包括用新增的 build hooks 预加载大文件,以及在用户发起请求前预热会话。
AWS 官方博客演示如何用 AWS CDK 将 LiteLLM 与 NVIDIA NeMo Switchyard 路由插件部署到自己的 AWS 账号,把编码智能体的请求在 Amazon Bedrock 上的 Claude Opus 5.5 与 NVIDIA Nemotron 3 Super 120B 之间路由。
OpenFold3-preview 现可通过 Amazon SageMaker JumpStart 部署到自有 AWS 账户。该模型由 OpenFold Consortium 与哥伦比亚大学 AlQuraishi Lab 以 Apache 2.0 开源,可一次预测蛋白、DNA、RNA 与小分子配体复合物的三维结构。端点采用异步推理,支持网络隔离、多 GPU 并行与空闲时缩容至零。
AssemblyAI 用 Amazon EC2 Spot Instances、Amazon ECS 和 Amazon SQS 搭建成本优化的语音转文字推理架构,在维持 SLA 承诺的同时显著降低成本。