Charm 发布 Prism：用于实时路由编程任务的 8B 专用模型

译自英文 · 查看原文

来认识一下 Prism，这是一个专门训练的 8B 模型，用于将编程任务实时路由到合适的模型。 Prism 会为简单任务选择快速、成本低的模型，为困难任务选择更大、更聪明的模型。我们看到推理成本最多可降低 45% 以上。 现已在 Charm Hyper 上线。