JEPA 研究中的“预测闭包”概念解读
译自英文
JEPA 从看到的内容中学会该保留什么，并用它来预测接下来会发生什么。
但那些它无法预测的细节呢？模型把它们丢掉岂不是更省事？
看这个例子
想象一个随机变色的红绿灯。它下一次变成什么颜色无法预测，但它当前的颜色有助于预测骑车人会停下还是继续走。如果丢掉红绿灯，骑车人就更难预测了。
▪️ 最近一项研究把这种集合层面的视角称为“predictive closure”（预测闭包）：一个特征的价值取决于它与模型所表示的其他特征之间的关系。
保留红绿灯能让骑车人更容易预测，但也给模型的预测目标加入了一个无法预测的颜色。丢掉它能去掉这个目标，却也丢失了一条有用的线索。
研究者把这两种代价区分开来：
1. 偶然不确定性（aleatoric uncertainty）：即使掌握当前完整观测也仍然不确定的部分，比如红绿灯下一次随机变成的颜色。
2. 预测泄漏（predictive leakage）：观测中可用的有用信息，但……X来源2
- @TheTuringPostXJEPA 从看到的内容中学会该保留什么，并用它来预测接下来会发生什么。 但那些它无法预测的细节呢？模型把它们丢掉岂不是更省事？ 看这个例子 想象一个随机变色的红绿灯。它下一次变成什么颜色无法预测，但它当前的颜色有助于预测骑车人会停下还是继续走。如果丢掉红绿灯，骑车人就更难预测了。 ▪️ 最近一项研究把这种集合层面的视角称为“predictive closure”（预测闭包）：一个特征的价值取决于它与模型所表示的其他特征之间的关系。 保留红绿灯能让骑车人更容易预测，但也给模型的预测目标加入了一个无法预测的颜色。丢掉它能去掉这个目标，却也丢失了一条有用的线索。 研究者把这两种代价区分开来： 1. 偶然不确定性（aleatoric uncertainty）：即使掌握当前完整观测也仍然不确定的部分，比如红绿灯下一次随机变成的颜色。 2. 预测泄漏（predictive leakage）：观测中可用的有用信息，但……译自英文 · 查看原文 ·
arXiv研究Predictive Closure: A Set-Level Characterization of JEPA's Feature Selection英文原标题 · 查看原文 ·
由 dalao.ai 撰写标题；引用的帖子以原文为准，著作权归原作者所有。