Hindsight来自创作者

Hindsight 0.10.1 引入 Jev 重排序,两种设计曾失败

Hindsight 在 0.10.1 版中接入 TypeSafe 的 Jev 作为召回结果重排序器,并分享了过程:逐个候选判断相关性的直观做法仍是成对打分,他们改为把整个候选池作为一次多选提问,一次请求返回整体排序。

Hindsight 称,有两种让模型表达“都不相关”的设计失败了,因此排序默认开启、过滤默认关闭。在 30 个候选时,recall@1 从默认方案的 0.800 提升到 0.950,每次查询耗时从 0.12 秒降至 0.027 秒,但 Jev 是第三方托管 API,并不适合所有部署。

要点

  • 0.10.1 接入 Jev 作为重排序器。
  • 整个候选池一次请求完成排序。
  • 两种过滤设计失败,过滤默认关闭。
  • recall@1 从 0.800 提升到 0.950。
  • Jev 为第三方托管 API。

原文:We Added Jev as a Reranker. Here's What We Learned.

A cheap pairwise reranker is still a pairwise reranker.

阅读原文

收录于 。摘自官方博客的简短节选,著作权归原发布者所有。

查看全部