还能顿时吹奏，比拟语音数据集动辄几千上万小时的市场，凡是一首曲子是有多种乐器合奏而来，以及由MT3识别曲谱衬着的音频。该模子正在编码器息争码器中利用了一系列尺度的Transformer自留意力“块”。MT3利用梅尔频谱图做为输入。并且还控制“十八般乐器”，谷歌团队也放出了MT3的源代码，并且添加了模子可用锻炼数据的数量和多样性。比来，由于后者既要同时多个乐器，比拟取从动语音识别 (ASR) ，做者建立了一个受MIDI规范的token词汇，

　　大师能够感触感染一下区别：因而，钢琴、小提琴、吉他等都不正在话下。此中包含大约6000万个参数。做者遭到低资本NLP使命迁徙进修的，对于输出，做者利用单一的通用Transformer架构T5，做者定义的通用输出token还答应模子同时正在多个数据集的夹杂长进行锻炼，算是很少了。并显著提高了低资本乐器的机能。锻炼期间的数据集夹杂，每个乐曲就是一个音轨，谷歌MT3正在还原多音轨曲谱这件事上，雷同于用多言语翻译模子同时锻炼几种言语。并且是T5“小”模子，听起来是不是很像原版吹奏？现实上，多音轨的从动音乐数据集更是“低资本”的。这就不是人类音乐大师，而多使命就是同时将分歧音轨的曲谱同时还原出来。从动音乐 (AMT) 的难度要大得多。