一直以来，火山语音团队都为时下风靡的视频平台提供基于语音识别技术的智能视频字幕解决方案，简单来说就是可以自动将视频中的语音和歌词转化成文字，来辅助视频创作的功能。但伴随平台用户的快速增长以及对语言种类更加丰富多样的要求，传统采用有监督学习技术来解决的办法日渐遭遇瓶颈，这让团队着实犯了难。
众所周知，传统的有监督学习会对人工标注的有监督数据产生严重依赖，尤其在大语种的持续优化以及小语种的冷启动方面。以中文普通话和英语这样的大语种为例，尽管视频平台提供了充足的业务场景语音数据，但有监督数据达到一定规模之后，继续标注的ROI将非常低，必然需要技术人员考虑如何有效利用百万小时级别的无标注数据，来进一步改善大语种语音识别的效果。
相对小众的语言或者方言，由于资源、人力等原因，数据的标注成本高昂。在标注数据极少的情况下（10小时量级），有监督训练的效果非常差，甚至可能无法正常收敛；而采购的数据往往和目标场景不匹配，无法满足业务的需要。
为此火山语音团队迫切需要研究如何以尽可能低廉的标注成本充分利用大量的无标注数据，提升少量标注数据下的识别效果并落地到实际业务中，所以无监督预训练技术成为视频平台ASR（AutomaticSpeechRecognition/自动语音识别）能力向小语种推广的关键。
尽管近年来学术界在语音无监督预训练领域取得了许多重大进展，包括Wav2vec2.0[1]、HuBERT[2]等，但在工业界却鲜有落地案例可以参考借鉴。整体来看，火山语音团队认为，以下三方面主要原因，阻碍了无监督预训练技术的落地：
模型参数量大、推理开销大。大量无标注数据需要用较大的模型做无监督预训练，才能得到高质量的语音表征，但这样的模型如果直接部署到线上，会带来高昂的推理成本。
无监督预训练只
转载请注明：http://www.0431gb208.com/sjsbszl/2823.html
