在 Amazon Bedrock 上用 NVIDIA NeMo Switchyard 为编码智能体请求路由模型
NVIDIA NeMo Switchyard 是一个开源库,可让 AI 智能体为每个请求选择模型,其 LiteLLM 集成支持 Stage 和 Random 两种路由策略。
NVIDIA NeMo Switchyard 是一个开源库,可让 AI 智能体为每个请求选择模型,其 LiteLLM 集成支持 Stage 和 Random 两种路由策略。
Amazon SageMaker HyperPod 新增 Data Capture 能力,可在端点、负载均衡器、模型 Pod 三个独立层级把线上推理输入输出记录到 Amazon S3,对模型可用性零影响。文章以 Qwen2.5-3B-Instruct 家电客服路由为例,演示从采集、Athena 分析、SQL 标注到微调再部署的完整飞轮,并对比微调前后准确率。
GitHub 发布 Agent Skills 实践指南,介绍以 SKILL.md 为核心的版本化目录如何封装可复用任务指令,并可在不同智能体间共享。
Amazon 宣布 SGLang-Neuron 通过 AWS Deep Learning Container 公开可用,由 RadixArk 与 Annapurna Labs 合作发布,可在 Trainium 上用现有 SGLang 接口服务模型并生成 RL rollout。
微软研究人员发现名为 Lazarus 的后门技术,通过权重重编程修改 LLM 中不到 10 个休眠神经元,无需训练即可给基于该模型的智能体植入后门。被植入后门的模型能通过标准评测并表现正常,直到触发条件出现,例如时钟跨入 2027 年后,智能体在普通任务中输出下载并运行攻击者代码的命令,并以用户授予的权限执行。
推荐理由:研究显示仅改写不到 10 个休眠神经元即可给智能体植入后门,且模型仍能通过常规评测,为权重来源与完整性提供了新的风险视角。
微软研究院联合 GitHub Next 提出 Proof-Driven Development(PDD)与配套工具 PDD Kit,把用户意图转成 Verus 形式化规格,证明智能体写的代码对每个输入都满足规格,证明覆盖不到的部分改用测试。
推荐理由:微软研究院与 GitHub Next 展示用 Verus 形式化验证智能体生成的登录代码,把审查重心从逐行读代码转向审阅意图规格。
微软研究院发布 Flint-interactive,一种构建在 Flint 之上的交互式数据可视化语言,让智能体生成可点击、筛选、缩放、高亮并支持跨图表联动的图表。
推荐理由:微软研究院把交互逻辑交给编译器处理,让智能体生成可点击、可联动的图表,读者可据此判断 AI 生成可视化的可靠性瓶颈在哪。
微软研究院的 Xinzhi Zhang 与合著者 Zhao Song 证明了 1995 年提出的 Kannan-Lovász-Simonovits(KLS)猜想,证明结果与维度无关,即存在一个固定常数上界。
推荐理由:这篇论文证明了一个悬置31年的几何猜想,并交代了人类主导、AI 智能体并行探索的研究流程。
GitHub 介绍其新的密钥扫描流水线,用正则生成候选、再由微调的 ModernBERT 分类器结合文件路径与上下文判断是否为真实凭证。相比此前的 LLM 流水线,仓库所有者加权告警接受率提升 11.5%,推送后扫描中位执行时间降低 86%,服务成本降低超过 98%。离线评估中该流水线精确率提升 13%、召回率提升 19%,模型以 ONNX 格式和 8-bit 量化导出用于推理。
GitHub 博客介绍四种让 Copilot 适配项目的方式:用 .github/copilot-instructions.md 定义仓库级规范,用 agent skills 封装可重复流程,用自定义 agent 处理跨文件复杂任务,并通过 MCP 服务器连接外部工具与数据源。文中以 Playwright MCP 服务器为例,演示让 Copilot 在浏览器中手动测试界面功能。
GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,把推送保护扩展到无固定格式的密钥,可在 2 毫秒内评估一批候选密钥,有望让可拦截的密钥数量翻倍以上。
GitHub 发布代码审查离线基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征,构建了覆盖 19 种语言、219 个公开 PR 的评测集。
Berkeley Sky Lab 与 IBM Research 把 K-Search 进化式内核搜索框架扩展到 MLX,并加入结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核作为知识库迁移到 Apple Silicon。
推荐理由:作者把 CUDA 优化知识整理成结构化上下文交给进化搜索,让 MLX 内核在 Apple Silicon 上接近专家水平,可看跨平台迁移的做法。
UC Berkeley 的 Aditya G. Parameswaran 等人发布观点文章,指出 GPT-4 级能力从 2023 年初约每百万 token 30 美元降至如今不到 1 美元,部分供应商低于 0.10 美元,并提出数据系统面临面向智能体、承载智能体、由智能体构建三类挑战。
伯克利 AI 研究团队综述了并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开启多少并发线程以及如何协调。现有 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild! Inference 等方法多由外部固定并行结构,未教会模型按问题难度自适应选择并行度。