在 Amazon Bedrock 上用 NVIDIA NeMo Switchyard 为编码智能体请求路由模型
NVIDIA NeMo Switchyard 是一个开源库,可让 AI 智能体为每个请求选择模型,其 LiteLLM 集成支持 Stage 和 Random 两种路由策略。
NVIDIA NeMo Switchyard 是一个开源库,可让 AI 智能体为每个请求选择模型,其 LiteLLM 集成支持 Stage 和 Random 两种路由策略。
Amazon SageMaker HyperPod 新增 Data Capture 能力,可在端点、负载均衡器、模型 Pod 三个独立层级把线上推理输入输出记录到 Amazon S3,对模型可用性零影响。文章以 Qwen2.5-3B-Instruct 家电客服路由为例,演示从采集、Athena 分析、SQL 标注到微调再部署的完整飞轮,并对比微调前后准确率。
Amazon 宣布 SGLang-Neuron 通过 AWS Deep Learning Container 公开可用,由 RadixArk 与 Annapurna Labs 合作发布,可在 Trainium 上用现有 SGLang 接口服务模型并生成 RL rollout。
走访弗吉尼亚州 Data Center Alley 后可见,数据中心引发的抵制更多源于电力问题而非科技公司所称的文化战争。当地单座数据中心平均功率容量达 54 兆瓦,超过丹佛国际机场用电量;AI 训练所需最小数据中心为 300 兆瓦,理想规模约 6000 兆瓦,相当于芝加哥全市用电。Anthropic 据报已同意支付 34 亿美元购买燃气轮机,为 AI 公司最大规模发电采购。
微软研究院联合 GitHub Next 提出 Proof-Driven Development(PDD)与配套工具 PDD Kit,把用户意图转成 Verus 形式化规格,证明智能体写的代码对每个输入都满足规格,证明覆盖不到的部分改用测试。
推荐理由:微软研究院与 GitHub Next 展示用 Verus 形式化验证智能体生成的登录代码,把审查重心从逐行读代码转向审阅意图规格。
得州民主党在中期选举中拿下参议院席位和州长职位,并首次控制州众议院,而两位当选者都把数据中心作为竞选核心议题。现任州长 Abbott 已在 9 月 21 日要求州监管机构暂停数据中心许可,当选州长 Hinojosa 则主张全面暂停新建。
GitHub 介绍其新的密钥扫描流水线,用正则生成候选、再由微调的 ModernBERT 分类器结合文件路径与上下文判断是否为真实凭证。相比此前的 LLM 流水线,仓库所有者加权告警接受率提升 11.5%,推送后扫描中位执行时间降低 86%,服务成本降低超过 98%。离线评估中该流水线精确率提升 13%、召回率提升 19%,模型以 ONNX 格式和 8-bit 量化导出用于推理。
GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,把推送保护扩展到无固定格式的密钥,可在 2 毫秒内评估一批候选密钥,有望让可拦截的密钥数量翻倍以上。
Berkeley Sky Lab 与 IBM Research 把 K-Search 进化式内核搜索框架扩展到 MLX,并加入结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核作为知识库迁移到 Apple Silicon。
推荐理由:作者把 CUDA 优化知识整理成结构化上下文交给进化搜索,让 MLX 内核在 Apple Silicon 上接近专家水平,可看跨平台迁移的做法。
UC Berkeley 的 Aditya G. Parameswaran 等人发布观点文章,指出 GPT-4 级能力从 2023 年初约每百万 token 30 美元降至如今不到 1 美元,部分供应商低于 0.10 美元,并提出数据系统面临面向智能体、承载智能体、由智能体构建三类挑战。
伯克利 AI 研究团队综述了并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开启多少并发线程以及如何协调。现有 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild! Inference 等方法多由外部固定并行结构,未教会模型按问题难度自适应选择并行度。