什么是模型服务？
在部署ML模型时，数据科学家或工程师必须根据他们的应用场景做出选择。如果他们需要大量的预测，并且延迟不是问题，通常会选择批量处理，向模型提供大量数据并将预测结果写入表中。如果他们需要低延迟的预测，例如响应应用程序中的用户操作，最好的方式是将ML模型部署为REST端点。这些应用程序向一个在线服务发送请求，并立即接收预测结果。
本资源整理了计算机视觉、NLP、语音识别领域深度学习模型部署常见的平台和方法，涉及TensorflowServing，TorchServe，BentoML，DeepDetect等十几种方法。
资源整理自网络，源
转载请注明：http://www.0431gb208.com/sjsbszl/479.html
