本文介绍我们作业帮的WeNet+ONNX端到端语音识别推理方案,实验表明,相比LibTorch,ONNX的方案获得20%~30%的速度提升。
WhyONNX?ONNX(OpenNeuralNetworkExchange)格式,是一种针对机器学习所设计的开放式的文件格式,用于存储训练好的模型。它使得不同的人工智能框架(如Pytorch,MXNet)可以采用相同格式存储模型数据并交互。将深度学习模型转为ONNX格式,可使模型在不同平台上进行再训练和推理。除了框架之间的互操作性之外,ONNX还提供了一些优化,可以加速推理。
Pytorch转ONNX将Pytorch模型转为ONNX格式在一定程度上是比较简单的,Pytorch转载请注明:http://www.0431gb208.com/sjszlfa/224.html