社交机器人的受人类启发的上下文选择性多模态记忆

记忆是社交互动的基础，使人类能够回忆起有意义的过去经历，并根据上下文相应地调整自己的行为。然而，当前大多数社交机器人和实体代理都依赖于非选择性、基于文本的记忆，限制了它们支持个性化、上下文感知交互的能力。受到认知神经科学的启发，我们为社交机器人提出了一种上下文选择性的多模式记忆架构，可以捕获和检索文本和视觉的情景痕迹，优先考虑以高情感显着性或场景新颖性为特征的时刻。通过将这些记忆与个人用户相关联，我们的系统可以实现社交个性化回忆和更自然、基础的对话。我们使用精选的社交场景数据集来评估选择性存储机制，实现了 0.506 的 Spearman 相关性，超越了人类一致性 ($ρ=0.415$)，并超越了现有的图像记忆模型。在多模态检索实验中，我们的融合方法比单模态文本或图像检索将 Recall@1 提高了 13%。运行时评估确认系统保持实时性能。定性分析进一步表明，所提出的框架比基线模型产生更丰富、更具有社会相关性的响应。这项工作通过将人类启发的选择性和多模式检索结合起来，推进社交机器人的记忆设计，以增强长期、个性化的人机交互。