首届国际“远见杯”元智能数据挑战大赛

一、 赛题名称 音乐驱动的指挥动作生成 

二、 赛题简介 近年来，人工智能已经成功地对多种人类艺术进行建模与学习。 深度学习算法已经能生成包括诗歌艺术、绘画艺术、音乐艺术、舞蹈 艺术在内的多种人类艺术形式。本赛题关注音乐驱动的指挥动作生成 这一任务，以音乐为输入信号，生成对应的指挥动作。

三、 功能要求 如图 1 所示，模型需要以采样率为 90Hz 的音乐音频梅尔频谱图 作为输入，输出与之对应的指挥动作上半身 13 个关键点的 30Hz 二 维坐标序列。生成的动作应自然，美观，与音乐节奏同步且语义相关。 同时，要求模型适应不同的音乐节奏，并适应包括交响乐、流行音乐、 摇滚音乐等不同的音乐风格。 

四、 实现条件 

开发语言：Python 

操作系统：Windows 或 Linux 

运行环境：PyTorch 

五、 赛题数据 本赛题提供 ConductorMotion100 数据集。该数据集包含训练集、 验证集与测试集，时长分别为 90/5/5 小时。比赛开始后将公布训练集 与验证集，测试集将在作品提交截止日期前 3 天公布。数据集与基线 模型下载链接为： https://github.com/ChenDelong1999/VirtualConductor

图 1:音乐的梅尔频谱图(上)与指挥动作(下)的可视化

六、 作品提交要求 

1、 模型设计报告，采用规定英文模板撰写并提交。需要给出模 型在验证集、测试集上的评价指标； 

2、 模型训练代码、测试代码、模型权重。需要给出相关依赖软 件包版本号，保证可复现性； 

3、 模型在给定歌曲列表上的生成结果演示视频（≤3 分钟，可 选）。歌曲列表将在作品提交截止日期前 3 天公布。 

七、 评分标准 比赛最终得分由初赛预测评测指标、报告及演示视频得分、答辩 现场表现得分三部分构成，上述三部分得分占比分别为 40%、30%、 30%。参赛队伍提交的模型将在测试集上通过节奏密度误差、力度轮 廓误差、动作标准差百分比、算法耗时这 4 种评价指标进行性能评测。 评价指标的详细定义以及代码实现见数据集与基线模型的下载链接。 

国际“远见杯”元智能数据挑战大赛组委会 

2022 年 3 月