音乐驱动的指挥动作生成
赛道开始时间:2022-04-18 00:00:00 赛道截止时间:2022-07-07 00:00:00
一、 赛题名称 音乐驱动的指挥动作生成
二、 赛题简介 近年来,人工智能已经成功地对多种人类艺术进行建模与学习。 深度学习算法已经能生成包括诗歌艺术、绘画艺术、音乐艺术、舞蹈 艺术在内的多种人类艺术形式。本赛题关注音乐驱动的指挥动作生成 这一任务,以音乐为输入信号,生成对应的指挥动作。
三、 功能要求 如图 1 所示,模型需要以采样率为 90Hz 的音乐音频梅尔频谱图 作为输入,输出与之对应的指挥动作上半身 13 个关键点的 30Hz 二 维坐标序列。生成的动作应自然,美观,与音乐节奏同步且语义相关。 同时,要求模型适应不同的音乐节奏,并适应包括交响乐、流行音乐、 摇滚音乐等不同的音乐风格。
四、 实现条件
开发语言:Python
操作系统:Windows 或 Linux
运行环境:PyTorch
五、 赛题数据 本赛题提供 ConductorMotion100 数据集。该数据集包含训练集、 验证集与测试集,时长分别为 90/5/5 小时。比赛开始后将公布训练集 与验证集,测试集将在作品提交截止日期前 3 天公布。数据集与基线 模型下载链接为: https://github.com/ChenDelong1999/VirtualConductor
图 1:音乐的梅尔频谱图(上)与指挥动作(下)的可视化
六、 作品提交要求
1、 模型设计报告,采用规定英文模板撰写并提交。需要给出模 型在验证集、测试集上的评价指标;
2、 模型训练代码、测试代码、模型权重。需要给出相关依赖软 件包版本号,保证可复现性;
3、 模型在给定歌曲列表上的生成结果演示视频(≤3 分钟,可 选)。歌曲列表将在作品提交截止日期前 3 天公布。
七、 评分标准 比赛最终得分由初赛预测评测指标、报告及演示视频得分、答辩 现场表现得分三部分构成,上述三部分得分占比分别为 40%、30%、 30%。参赛队伍提交的模型将在测试集上通过节奏密度误差、力度轮 廓误差、动作标准差百分比、算法耗时这 4 种评价指标进行性能评测。 评价指标的详细定义以及代码实现见数据集与基线模型的下载链接。
国际“远见杯”元智能数据挑战大赛组委会
2022 年 3 月