用 Amazon SageMaker HyperPod Data Capture 构建模型改进飞轮
Amazon SageMaker HyperPod 新增 Data Capture 能力,可在端点、负载均衡器、模型 Pod 三个独立层级把线上推理输入输出记录到 Amazon S3,对模型可用性零影响。文章以 Qwen2.5-3B-Instruct 家电客服路由为例,演示从采集、Athena 分析、SQL 标注到微调再部署的完整飞轮,并对比微调前后准确率。
Amazon SageMaker HyperPod 新增 Data Capture 能力,可在端点、负载均衡器、模型 Pod 三个独立层级把线上推理输入输出记录到 Amazon S3,对模型可用性零影响。文章以 Qwen2.5-3B-Instruct 家电客服路由为例,演示从采集、Athena 分析、SQL 标注到微调再部署的完整飞轮,并对比微调前后准确率。
UC Berkeley 的 Aditya G. Parameswaran 等人发布观点文章,指出 GPT-4 级能力从 2023 年初约每百万 token 30 美元降至如今不到 1 美元,部分供应商低于 0.10 美元,并提出数据系统面临面向智能体、承载智能体、由智能体构建三类挑战。