固定链接 滴滴云弹性推理服务评测——极具性价比的深度学习推理服务

滴滴云弹性推理服务评测——极具性价比的深度学习推理服务

滴滴云弹性推理服务评测——极具性价比的深度学习推理服务

滴滴云于2019年5月10日发布了弹性推理服务EIS,该服务用于深度学习推理任务,具有高性价比、弹性、易用性等诸多优点。

本文专注分析它的性价比:滴滴云弹性推理服务EIS比在滴滴云上购买GPU云主机自建推理服务价格优势能有多少?

滴滴云弹性推理服务开创性地以推理服务能力——QPS作为配置规格,相比于以资源作为配置规格更加贴近业务用户的需求。

测试标准

为了统一对比的标准,本文把滴滴云上GPU云主机的资源能力转化为推理服务能力——QPS,统一采用Inceptionv3模型,输入(1,224,224,3)作为测试基准。

从推理硬件资源来讲,NVIDIA Tesla P4 GPU 作为主流的推理显卡,主流云计算厂商都有提供,因此选用P4型GPU云主机作为测试对比对象。

推理服务方面,GPU云主机选用开源推理框架TF Serving。滴滴云弹性推理服务EIS和TF Serving都提供HTTP API接口访问,本次对比测试以HTTP API作为推理接口。

测试环境

对比测试的环境如下:
在滴滴云上购买100 QPS的Inceptionv3模型推理服务;
在滴滴云上购买NVIDIA Tesla P4 GPU云主机,基于深度学习开源推理框架TF Serving部署nceptionv3模型推理服务;
分别对以上2种场景进行压测,得出极限QPS数,并通过购买的价格换算出100 QPS Inceptionv3推理服务所需的费用。

滴滴云弹性推理服务EIS测试环境

规格 配置
Inceptionv3 QPS 100

价格0.577元/小时

滴滴云GPU云主机测试环境

规格 配置
vCPU (核数) 16
内存 (GB) 32
系统盘空间 (GB) 80
带宽 1Mbps
GPU 1 P4
操作系统 CentOS 7.5
CUDA版本 Cuda-9.0
TF Serving版本 1.12.0

价格:7.254元/小时

测试结果

本文统一用wrk作为压测工具,采用40个线程、40个连接数运行30秒得出结果。
wrk -t40 -c40 -d30s -T3s –script=auto_json.lua http:// 最终的压测对比结果如下:

EIS 滴滴云 tf-serving
压测QPS/RT 100/127.87ms 247.61/159.82ms
100 QPS价格(元/小时) 0.577 2.93
性价比 5.08 1

总结

从以上测试结果可看出,在延时大幅降低的情况下,滴滴云弹性推理服务的价格是在滴滴云上自建推理服务的不到2折,性价比极高!

您的留言将激励我们越做越好