论文
对话式人工智能中的熵:结构化的不可预测性作为可推断的内在性
Entropy in Conversational AI: Structured Unpredictability as Inferrable Interiority
摘要
采样可以增加响应多样性,而不会产生依赖于历史的行为。我们形式化了一个不同的设计目标,即结构化的不可预测性,作为输出和持久隐藏状态之间的条件依赖,超出了观察者可以从记录中推断出的范围。选择层从容量有限的流中更新低维风格和注意力状态,使用固定的基本模型生成多个响应,并选择新颖性和状态亲和力。评估使用独立提示回合的脚本序列:基础模型接收当前回合和渲染状态,但不接收之前的对话;交叉依赖存在于包装器状态和响应选择器中。综合实现验证了管道并在点级别匹配四个预期哈希冻结的分歧特征。在最终的真实模型网格(mlx-community/Qwen2.5-1.5B-Instruct-4bit;每臂 56 个序列)中,该机制相对于低方差和仅一致性控制分别提高了词汇新颖性 0.073 和 0.023。在注册的最小效应规则下,其风格一致性与新颖性匹配采样的对比相当于零,因此联合新颖性一致性标准失败。原来的两部分累加标准也失败了;修改后的最终电网对比(在电网供电后冻结)发现比记忆重置消融更高的一致性(0.028,95%CI [0.018,0.039]),但没有建立路径依赖。双胞胎分离未成立(0.003,95% CI [-0.011,0.019]);平均曲线的饱和曲率与冻结预测相匹配,如果没有分离,则不支持路径依赖。在接近天花板的电池上,探头级能力等效性保持在 +/-0.10 范围内,但未评估输出质量。所有结果均由机器评分;没有测试任何关于感知心灵或意识的说法。