再现 FACTER：通过保形阈值和及时修复实现公平

法亚齐等人。 （2025）最近提出了 FACTER，这是一个与模型无关的框架，旨在通过共形阈值和迭代提示修复来共同强制基于 LLM 的推荐的公平性和统计覆盖率。在这项工作中，我们对不同架构和数据集稀疏级别的 FACTER 框架进行了可重复性研究，评估了原始的开放式生成任务和受限的重新排序扩展。在严格再现下，我们观察到推荐效用的差异，我们将其追溯到原始研究中未指定的目标集评估。然后，当候选集固定时，我们使用约束重排序设置来评估 FACTER，并引入静态公平零样本基线来隔离迭代提示修复循环的贡献。我们的分析表明，FACTER 持续减少了自适应阈值违规计数，但这些减少并没有一致地反映在固定阈值或全局公平性指标中。在受限排名设置中，静态公平指令实现了与 FACTER 动态修复循环相当的语义奇偶结果，这表明额外的在线修复机制在此公式中提供的好处有限。所有代码和复制工件均可在 https://github.com/oscar-omlf/facter-repr 上获取。