论文
StarDrinks:用于饮料订购场景中 SLU 评估的英语和韩语测试集
StarDrinks: An English and Korean Test Set for SLU Evaluation in a Drink Ordering Scenario
摘要
LLM 和语音助手越来越多地用于面向任务的交互,但它们的评估通常依赖于受控场景,而这些场景无法捕获真实用户请求的可变性和复杂性。例如,饮料订购涉及不同的命名实体、饮料类型、尺寸、定制和品牌特定术语,以及犹豫和自我纠正等自发言语现象。为了解决这一差距,我们引入了 StarDrinks,这是一个英语和韩语测试集,包含语音话语特征、转录和带注释的槽。我们的数据集支持语音到槽 SLU、转录到槽 NLU 和语音到转录 ASR 评估,为语言丰富的现实世界任务中的模型稳健性和泛化提供了现实的基准。