Together AI 推出 Together Compiler：让多个 AI 智能体持续改写开源模型的推理代码

推理云公司 Together AI 发布 Together Compiler（TKCC），用多个 AI 智能体自动改写模型推理用的 GPU 代码，并随用户流量变化反复重新优化。关键做法是「常驻引擎」：推理引擎只启动一次，智能体写出的新版本可直接热加载测试，不用每次重启。官方表格显示，一次测试的准备时间从 467 秒降到 9 秒。智能体之间通过留言板分工，系统还用成本模型挑选并行方案。官方自报：在 SemiAnalysis 的 InferenceX 测试上，吞吐量可提升到原来的 2.6 倍。该系统已在 Together 的多个线上接口运行，客户的专属部署可申请内测。

由 dalao.ai 撰写：标题、摘要和“为什么重要”是我们自己的文字；事实以原始报道为准，著作权归原发布者所有。