前言#
本人很喜欢听歌,各种风格。而很早的时候使用软件调教的歌让我觉得很有意思,所以也想自己试着调教一首。市面上主流的歌姬调教软件有什么 UTAU、VOCALOID 和 CeVIO AI,其中 UTAU 是免费的调教软件,你在 bilibili 听到的很多人力其实也是 UTAU 调教的。而 VOCALOID 和 CeVIO AI 都是付费软件。(因为我只用过 UTAU,所以本文很多预处理都是使用 UTAU 进行的)
UTAU 的调教刚开始用时会比较难,要想让歌姬唱的很自然有感情的话需要进行很多修饰和调音,而我只是想听听我喜欢的歌姬唱出来是什么样子,后来突然就兴起了 AIKiritan 让我很感兴趣,Kiritan 的声音很可爱,并且 AIKiritan 唱出来的歌声音都非常自然。于是我就去了解了一下,知道了 NEUTRINO。
开始之前#
NEUTRINO是由SHACHI开发的免费歌声合成器。它基于音频合成深度学习模型(例如WaveNet,WaveRNN)与Morise开发的NSF来完成合成唱歌任务
据官方推特,此软件的名称(软件直译:中微子)来源于一个“希望能开拓未曾听说过的乐曲与流派”的想法。
引自萌娘百科( https://mzh.moegirl.org.cn ),文字内容默认使用《知识共享 署名-非商业性使用-相同方式共享 3.0 中国大陆》协议。
你需要下载 NEUTRINO,官网是 https://studio-neutrino.com/ ,点击「Start Now」就可以前往下载页
在下载页里找到「ダウンロード(Google Drive)」一节,点击链接「NEUTRINO Diffusion ダウンロード(Google Drive)」就会进入 NEUTRINO 的谷歌网盘
云盘根目录会有一个文件夹叫NEUTRINO Diffusion - Muon vx.x
,这里的x.x
是版本号,这个文件夹默认就是 NEUTRINO 的最新版。在这个文件夹里找到NEUTRINO-windows-vx.x.x.zip
并下载(这里我就默认你使用的 Windows 系统了,如果你使用的是其他系统请自行选择对应的文件下载)
同时,在这个文件夹会有很多有人名的压缩文件,格式为<名字>(NEUTRINO-Library)-<版本>.zip
,比如 Kiritan 的就是東北きりたん(NEUTRINO-Library)-v2.5.3.zip
,选择你想要让其为你而唱的歌姬,也下载下来。
接下来你就拥有了 NEUTRINO 和歌姬的声音模型,接下来可以先将 NEUTRINO 解压到你想要的位置,解压之后可以看见 NEUTRINO 的文件夹内容为
NEUTRINO
├── bin/ NEUTRINO 的运行所需文件
├── license/ NEUTRINO 的相关协议
├── model/ 存放声音模型
├── output/ 默认的生成输出位置
├── score/ 存放生成歌曲的谱子
│ ├── label/ 和生成相关
│ └── musicxml/ 存放 musicxml 谱子
├── settings/ NEUTRINO 的默认设定
├── Readme(お読みください).pdf 使用说明
├── Run.bat 运行脚本
├── Run_single_phrase.bat 运行单句
├── ひらがな・カタカナ・音素一覧表.pdf 平、片假名、音素列表
├── リリースノート.pdf 发行说明
└── 利用許諾契約書.pdf 最终用户许可协议
接下来将你下载的声音模型放入model
文件夹中,model
文件夹格式如
model
├── KIRITAN 东北切蒲英的声音模型
├── MERROW Merrow的声音模型
├── NAKUMO Nakumo的声音模型
...
乐谱准备#
想让歌姬唱出来至少要让ta知道唱什么吧,所以我们需要一个谱子。在 NEUTRINO 中使用的乐谱格式为.musicxml
格式,所以我们需要一个格式正确的.muscixml
文件。官方推荐的是 MuseScore,一个乐谱编辑软件。如果你是专业的音乐师或者能够看懂五线谱推荐使用 MuseScore。因为我不是音乐系科班出身,所以这里使用了另外的方法来生成乐谱文件。
当然,你如果不想自己从头写谱的话可以去网上搜索你想要听的歌曲的.ust
文件,一般都很好搜索到(但如果真的很冷门的话就需要你来当第一人了)
.ust
后直接跳过,如果你有其他调音之类的需求可以参照准备工具:
准备以上工具,你就可以开始创作了。OpenUTAU 是用来创作和调整乐谱的,但 OpenUTAU 只能将乐谱导出为.ust
、.ustx
或者.midi
,所以我们还需要使用 UtaFormatix 来将上述格式转换为.musicxml
(注意:不包括.midi
,因为该格式不包含歌词)
- 在搜索引擎中搜索关键字「歌名+ust」比如我是「警報のあった日 ust」
- 寻找心仪的作者的谱子下载
- 打开 OpenUTAU,点击左上角菜单栏「文件」,找到导入轨道,选择你的
.ust
文件。我这里 ピフ優 的 警報のあった日 有三个.ust
文件,将其全部导入进去 - 选择音源,我这里使用了Kiritan(东北切蒲英)
- 给每个轨道选择好音源后点击左上角播放键「▶」可以进行试听,如果有觉得不对的地方可以进行调整
- 将每个轨道导出为
.ust
格式
乐谱转换#
上面我们准备好了.ust
文件,现在打开UtaFormatix,将你的.ust
文件全部放进去,向下翻页,找到MusicXml
设置部分一般默认即可,最后点击导出,会下载一个压缩包
使用NEUTRINO生成音乐#
将上面获得的压缩包文件解压到你的NEUTRINO\score\musicxml
中(如果文件名有符号尽量修改掉,尽量只用字母、数字、连接符和下划线,不然可能会报错)
回到NEUTRINO
的根目录,右键Run.bat
,选择编辑(这里我是用了Microsoft VS Code,完全可以使用记事本进行编辑),主要修改BASENAME
(文件名)和ModelDir
(模型名),其他参数可以参照这篇文章
双击Run.bat
,便会开始生成声音文件,等待进程结束(如果有多个音轨文件就多次修改和运行Run.bat
文件)
现在在NEUTRINO\output
中就可以看见生成的声音,需要使用的都是.wav
格式,带和不带world
的哪个效果更好都看你自己的选择
混音和合成#
现在有了人声部分,我们还需要伴奏,请自行去寻找,可以通过搜索引擎搜索「<歌名>+off vocal」或者「instrumental」来搜索
使用音频编辑软件(例如Adobe Audition、Wave Editor等)进行对轴和混音等,因为我也是菜鸡,所以这里就不进行展开了,可以自行搜索教程等
希望你可以使用NEUTRINO用自己喜欢的声源创造出属于自己的歌
本文作者: 褐瞳さん
本文链接: https://www.hetong-re4per.com/posts/neutrino/
版权声明: 本文文字在未特别注明下默认使用 CC BY-NC-SA 4.0 许可协议。