论文

ONOTE:计算音乐科学的基于超图的全模态推理

ONOTE: Hypergraph-Grounded Omnimodal Reasoning for Computational Music Science

模型评测基准与评测资源

摘要

以乐谱为中心的全模式记谱处理是一种受控的科学环境,其中听觉、视觉、符号和物理表征必须对相同的音乐事件进行编码。然而,现有的工作在识别和转录方面仍然支离破碎,很少测试跨符号系统的结构一致性。西方工作人员的偏见和不明确的模型裁判进一步掩盖了音高、时间、顺序和乐器特定限制方面的错误。我们引入了 ONOTE,一个统一的框架,它将音乐视为可测量的交叉表示对应的科学结构领域。其仅供测试的基准借鉴了各种音乐资源,包括不同流派、乐器和结构条件的五线谱、简谱和指法谱,以及一致的多模式衍生品。四个补充任务包括乐谱理解、记谱转换、音频转录和符号生成、测试音高和持续时间排序、输出语法以及公开的特定于乐器的约束。 ONOTE 还根据外部音乐理论材料构建了一个带有出处的命题超图,用于基于实体和超边缘的证据检索。确定性有效性检查、公开的结构合规性 SMG 评分和受控 RAG 比较揭示了视觉识别和结构保留输出之间的差距。结果将感知与音乐理论应用以及结构或物理约束满意度分开。 ONOTE 提供了一个可审计的框架,用于研究计算音乐科学中的表示不变性和基于知识的干预。