通过无注释适应和预训练模型迁移进行腿式机器人试镜的开集自我噪声分离

本文通过无注释适应和预训练模型迁移，提出了一种用于腿式机器人试听的开放集自我噪声分离框架。该框架消除了机器人特有的自我噪声，同时保留了未提前指定类别的环境声音。声学传感提供了有关机器人视野之外的周围环境的线索，但步行引起的脚步撞击、关节间隙嘎嘎声和电机噪音等引起的自我噪音严重污染了录音。该框架首先使用 RecurGraph 通过将剪辑嵌入聚合到嵌入质心并在音频嵌入图上传播分数，从未标记的录音中选择自我噪声主导的剪辑。选定的剪辑与来自大型声音事件数据集的各种环境声音混合，以提供配对混合目标监督以进行开放集分离。然后，Transfer-DiT 采用通用零样本神经分离器来实现目标机器人的高保真开放集自我噪声分离。双足和四足机器人的实验表明，与基线分离器相比，夹子选择可靠，分离质量和下游任务性能有所提高。这些结果证明了无注释适应的可行性，无需单独记录仅自我噪声数据或手动剪辑级注释。