选自arXiv
作者：QiantongXu等
机器之心编译
编辑：魔王近日，来自FAIR的研究者提出结合自训练和无监督预训练执行语音识别任务，证明这两种方法存在互补性，并取得了不错的结果。
自训练和无监督预训练成为使用无标注数据改进语音识别系统的有效方法。但是，我们尚不清楚它们能否学习类似的模式，或者它们能够实现有效结合。
最近，Facebook人工智能研究院（FAIR）一项研究展示了，伪标注和使用wav2vec2.0进行预训练在多种标注数据设置中具备互补性。
只需来自Libri-light数据集的10分钟标注数据和来自LibriVox数据集的5.3万小时无标注数据，该方法就能在Librispeechclean和other测试集上取得3.0%/5.2%的WER（词错率），甚至打败了仅仅一年前基于个小时标注数据训练的最优系统。在Librispeech所有标注数据上训练后，该方法可以达到1.5%/3.1%的词错率。
论文链接：
转载请注明：http://www.0431gb208.com/sjszlff/1695.html
