论文
GenAI4IDN 基准 3.0 - 评估交互式数字叙事设计的生成式 AI 工具的公共工具
The GenAI4IDN Benchmark 3.0 - a Public Tool to Assess Generative AI Tools for the Design of Interactive Digital Narratives
摘要
本文介绍了 GENAI4IDN Benchmark 3.0，这是评估框架的第三次迭代，用于评估用于创建交互式数字叙事 (IDN) 的生成式 AI 工具。这次迭代超越了手动测试，通过可公开访问的 Web 应用程序引入了人工智能辅助评估（https://genai4idn.com),，使社区能够按需运行基准测试、添加新模型并提出新任务。修订后的评估框架是“盲目的”，以避免模型偏差，并且可以处理复杂的媒体，例如音乐、视频和以前需要人工评估者的完整 IDN。为了回应 ICIDS 2025 期间提出的担忧，一个重要的补充是通过专用任务和由具有所描绘背景的生活经验的人类评估者验证的结果报告了成熟的创造力，同时将失控的思维和过度热心的安全过滤器视为限制。
