论文

Nous:提取并注入预测市场行为背后认知的尝试

Nous: An Attempt to Extract and Inject the Cognition Behind Prediction-Market Behavior

模型评测模型行为与机制分析

摘要

随着 LLM 代理在预测市场和集体决策中激增,他们面临着认知单一文化的风险:建立在共享基础模型上的代理会产生相关预测,最近的测量发现前沿模型误差相关性为 r ~ 0.77。我们询问人类认知多样性是否可以从行为中恢复并转移到大语言模型代理人身上。 Nous 从真实的 Polymarket 交易活动中提取结构化的八维行为特征,并通过提示将其注入代理中。我们的主要发现是该管道的两半之间存在分离。提取部分有效:在 100 个钱包中,14 个参数中的 8 个是暂时稳定的(分半 ICC >= 0.5,引导 CI 下限 > 0.3;反向得分达到 ICC ~ 0.9);钱包可从其个人资料中识别出来,其概率远高于概率(top-1 检索率为 17-22% vs. 1% 概率);四个预先指定的维度中的两个与样本外未来实现的利润排名相关,尽管这种相关性无法在行为混杂的控制下生存。提示级注入并不能显着地传递它:在语义嵌入指标上,结构化注入在任何模型上都没有比长度匹配控制显示出显着的优势,并且它引起的多样性既不会减少集成误差相关性,也不会提高 Brier 分数——在对采样温度、配置文件多样性和问题难度的探索性检查中仍然存在一个零值。测量提示本身可以在模型之前找到压缩​​:结构到叙述的翻译器发出近乎均匀的提示,其传播不跟踪配置文件传播。我们将 Nous 定位为衡量认知单一文化问题和即时补救措施的局限性,激发更深入的、低于即时的注入(微调、激活引导)。代码、冻结的配置文件、提示和模型输出:https://github.com/WillChienT/nous-paper