Hindsight来自创作者

Hindsight 评测:英伟达 Nemotron 3.5 Embed 记忆检索居首

智能体记忆项目 Hindsight 在其评测体系中把英伟达 Nemotron 3.5 Embed 与另外 7 个嵌入模型对比,包括 OpenAI text-embedding-3-small、BGE-M3 和 Qwen3-Embedding-0.6B。Hindsight 称 Nemotron 在 LoCoMo 和 BEAM 100K 记忆检索上分别取得 93.8% 和 65.9%,均列第一。

得益于 32768 个 token 的上下文,Nemotron 能完整嵌入对话原文段落,在 BEAM 千万 token 档的 recall@10 为 38.0%,在 8 种语言 27 项检索任务上平均 nDCG@10 为 55.1。在单张英伟达 L4 上每次查询约 30 毫秒,比参数量约为其一半的 Qwen3-Embedding-0.6B 更快。

要点

  • 与 7 个嵌入模型同场对比。
  • LoCoMo 记忆检索 93.8%,列第一。
  • 32768 token 上下文可完整嵌入段落。
  • 8 种语言平均 nDCG@10 为 55.1。
  • 单张 L4 每次查询约 30 毫秒。

原文:We Got Early Access to NVIDIA Nemotron 3.5 Embed. It's Hindsight's New Top Embedding Model.

Nemotron finished first on memory retrieval and first on the leaderboard, and it answered queries faster than a model just over half its size.

阅读原文

收录于 。摘自官方博客的简短节选,著作权归原发布者所有。

查看全部