论文
脑电图基准测试需要任务规范层:用于规则手册引导的可执行基准构建的 NeuroDoc
EEG Benchmarking Needs a Task Specification Layer: NeuroDoc for Rulebook-Guided, Executable Benchmark Construction
摘要
脑电图(EEG)基础模型越来越依赖于多数据集训练和评估,但公共脑电图数据集仍然缺乏可以将异构记录转化为可重用基准单元的共享任务规范层。现有标准组织文件、元数据和来源,但没有在通用语言和规则手册下指定脑电图任务,从而使关键任务语义分散在论文、代码和手动解释中。我们研究是否可以通过与共享规则手册配对的结构化任务规范语言来标准化异构公共脑电图数据集。我们的方法将每个基准条目表示为与可执行任务内核同步的任务文档,并使用定义任务字段、证据要求、文档内核对齐、审查状态和机器可检查约束的规则手册。使用这种方法,我们发布了一个经过社区审查的脑电图基准语料库,以 53 个已完成和审查的条目为中心,包含 245 个跨越不同范式的任务定义,并且我们引入 NeuroDoc 和 NeuroAudit 作为规则手册引导的起草、升级、审查、修改和发布管理的操作支持层。我们进一步检查所得到的基准单元是否可以在四个脑电图基础模型主干的共享下游设置中实例化,为可重用、可审计和可执行的脑电图基准基础设施提供基于执行的证据。