针对监控和安全机器人的身份敏感 LLM 输出进行基准测试

大语言模型 (LLM) 越来越多地用于在早期机器人开发过程中生成文本机器人设计规范、交互策略和风险评估。此类输出可能会影响监控和安全机器人的概念化、记录和最终实施方式。本文评估了身份条件提示是否会在 LLM 生成的监视和安全机器人设计描述中产生系统差异。我们使用跨单标签和模型增强提示条件的 236 个人口统计身份标签，分析可读性，作为评估生成的机器人设计描述中的可访问性和身份条件变化的初始基准。结果显示，不同提示条件、设计维度和人口特征的可读性存在显着差异。尽管可读性不能确定输出是否公平或社会适当，但它在更广泛的基准测试框架中提供了可解释的基线，该框架还包括词汇、语义、情感、句法和以公平为中心的分析。