知名偶像项目LoveLive！发表了一篇AI论文，没错。近日，预印本平台arXiv上的一篇论文引起关注，作者来自游戏开发商KLab和九州大学。他们提出了一种自动为偶像歌曲写谱的模型，更重要的是，作者表示这种方法实际上已经使用了很长时间。通过深度学习技术，人工智能算法在图像分类、语音识别等任务中取得了优异的表现，但在理解复杂非结构化数据方面，机器学习面临更大的挑战，如理解音频、视频、文本内容，以及理解其作用的机制等。他们出现了。物理学家费曼曾说过：“如果我不能自己创造它，我就不会真正理解它。”随着技术的发展，深度生成模型在学术界和工业界得到广泛应用。在当今的游戏开发过程中，生成模型正在帮助我们构建各种内容，包括图形、声音、角色移动、对话、环境和关卡设计。KLab等机构提交的论文介绍了自己的节奏动作游戏生成模型。KLabInc是一家智能手机游戏开发商。公司在线运营的节奏动作游戏，包括《Love Live！学院偶像季：群星闪耀》（简称LLAS）已在全球以6种语言发行，获得数千万用户。已经有一系列具有类似影响的类似游戏，使得这部作品与大量玩家具有很强的相关性。在LLAS中，开发者需要为不同的歌曲生成乐谱，提示玩家在不同的时间敲击或拉动琴键，这是节奏音乐游戏中的一个决定性挑战。在游戏中，漂浮在上方的按钮称为音符，它们形成类似于乐谱的空间图案，与背景音乐的节奏相对应。一首歌曲有不同的难度模式，从初级、中级、高级和专家到挑战，按照复杂性递增的顺序排列。与其他音频游戏相比，LLAS并没有太考验反应速度，但机制却复杂得多。在一切准确的前提下，有buff，debuff，三个属性分别对应体力，暴击，得分。为了获得高分，您需要在播放歌曲时不断切换团队。感谢爱直播！这是一个12年的项目，包括四个团体和几个小团体，以及个人和角色歌曲。游戏中会出现很多歌曲，设计相应的乐谱成为了一项极具挑战性的工作。一次搜索就有数千首歌曲。游戏开发者表示，他们的做法是通过AI辅助半自动化的方式：首先由AI生成分数，再由KLab美工进行微调。高难度。据KLab称，GenéLive!他们使用的模型成功地将业务成本削减了一半，该模型已经部署到公司的日常业务运营中，并将在可预见的未来继续应用。降低乐谱生成成本是在线音频游戏开发商面临的重要挑战，因为这是日常运营的瓶颈。KLab提出的方法实现了只需要音频就可以直接生成乐谱。在研究过程中，开发者首先提出了DanceDanceConvolution(DDC)，它以人类级别的高难度游戏模式生成分数，但低难度的效果并不理想。随后，通过改进数据集和多尺度conv-stack架构，研究人员成功捕获了四分音符与八分音符和提示节拍在乐谱中的位置之间的时间依赖性，这些位置是音乐游戏中放置按键的更好位置.机会。DDC由两个子模型组成：onset（生成音符时）和sym（确定音符的类型，例如敲击或滑动）。展望了将该技术推广到其他领域的可能性。论文链接：https://arxiv.org/abs/2202.12823KLab应用深度生成模型合成乐谱，改进乐谱制作流程，将业务成本降低一半。该研究阐明了如何使用GenéLive!克服挑战，GenéLive!是一种新的多尺度模型，专门用于节奏动作，具有节拍等，并使用KLab的生产和开放数据集进行了评估。方法以前，KLab分数的生成工作流是在不考虑自动化的情况下形成的，几乎没有达到明确的规则或数学优化目标。因此，该研究选择使用有监督的机器学习。到2019年底，KLab已经发布了数百首歌曲的音频序列和相应的人工生成乐谱。一方面，要求这个项目快速交付，发挥支撑作用；另一方面，该项目的目标是改进SOTA深度生成模型。通常，研究新的神经网络架构需要大量的反复试验，这个过程可能需要六个月或更长时间。为了解决时间问题，研究组织了模型开发团队和模型服务团队，通过与美工团队保持联系获取反馈，体现在模型开发和服务中，第一时间提供更新的模型，从而使它们保持一致。GenéLive!的基础模型由卷积神经网络（CNN）层和长短期记忆网络（LSTM层）组成。对于频域中的信号，作者利用CNN层来捕获频率特征，并利用LSTM层来处理时域来完成任务。GenéLive!的模型架构。在这里，卷积堆栈(conv-stack)的主要任务是使用CNN层从梅尔谱图中提取特征。conv-stack由带批量归一化的标准CNN层、最大池化层和dropout层组成，激活函数为ReLU。最后，为了标准化输出，这里使用了一个全连接层。在时域中，BiLSTM用于提供先前conv-stack的输出作为输入。为了实现不同的难度模式，作者将难度编码为标量（初学者为10，中级为20，等等）并将该值作为新特征附加到convstack的输出中。卷积堆栈架构。在训练数据方面，GenéLive!使用了数百首早期的LLAS歌曲、《歌之王子殿下》歌曲以及来自音乐游戏引擎“Stepmania”的可公开访问的音乐和乐谱。模型开发该模型是KLab和九州大学之间的合作。两个团队之间需要一个基于网络的协作平台来共享源代码、数据集、模型、实验等。具体来说，本研究中用于模型开发的系统架构如下图所示。模型服务为了让乐谱生成程序按需提供给艺术家，艺术家应该在没有AI工程师帮助的情况下轻松使用。由于该程序需要高端GPU，因此将其安装在艺术家的本地计算机上并不是一个合适的选择。模型服务系统架构如下图所示。实验结果为了衡量方法中每个组件的性能，研究人员在“LoveLive!AllStars”数据集上进行了消融实验。下表3中的结果表明GeneLive!模型优于之前的SOTA模型DDC。为了评估节拍引导的效果，消融实验的结果如下图9所示。使用未修改的conv-stack和当前的GenéLive!训练的模型的结果之间的差异。模型如下图所示。基因直播！一次在所有难度模式下对模型进行训练，以了解这种训练方法的好处。该研究将此与单独训练每个难度模式的结果进行了比较，结果如下图所示。LoveLive!策划的活动！包括动漫、游戏和现实偶像团体。音乐游戏《Love Live! School Idol Festival》自2013年开始运营，截至2019年9月在日本拥有超过2500万用户。新一代游戏《Love Live! School Idol Festival All Stars》目前在全球拥有数千万用户。GenéLive的研究！也可能让音游在AI领域大行其道。
