滴滴云于2019年5月10日发布了弹性推理服务EIS,该服务用于深度学习推理任务,具有高性价比、弹性、易用性等诸多优点。
本文专注分析它的性价比:滴滴云弹性推理服务EIS比在滴滴云上购买GPU云主机自建推理服务价格优势能有多少?
滴滴云弹性推理服务开创性地以推理服务能力——QPS作为配置规格,相比于以资源作为配置规格更加贴近业务用户的需求。
测试标准
为了统一对比的标准,本文把滴滴云上GPU云主机的资源能力转化为推理服务能力——QPS,统一采用Inceptionv3模型,输入(1,224,224,3)作为测试基准。
从推理硬件资源来讲,NVIDIA Tesla P4 GPU 作为主流的推理显卡,主流云计算厂商都有提供,因此选用P4型GPU云主机作为测试对比对象。
推理服务方面,GPU云主机选用开源推理框架TF Serving。滴滴云弹性推理服务EIS和TF Serving都提供HTTP API接口访问,本次对比测试以HTTP API作为推理接口。
测试环境
对比测试的环境如下:
在滴滴云上购买100 QPS的Inceptionv3模型推理服务;
在滴滴云上购买NVIDIA Tesla P4 GPU云主机,基于深度学习开源推理框架TF Serving部署nceptionv3模型推理服务;
分别对以上2种场景进行压测,得出极限QPS数,并通过购买的价格换算出100 QPS Inceptionv3推理服务所需的费用。
滴滴云弹性推理服务EIS测试环境
规格 | 配置 |
---|---|
Inceptionv3 QPS | 100 |
价格0.577元/小时
滴滴云GPU云主机测试环境
规格 | 配置 |
---|---|
vCPU (核数) | 16 |
内存 (GB) | 32 |
系统盘空间 (GB) | 80 |
带宽 | 1Mbps |
GPU | 1 P4 |
操作系统 | CentOS 7.5 |
CUDA版本 | Cuda-9.0 |
TF Serving版本 | 1.12.0 |
价格:7.254元/小时
测试结果
本文统一用wrk作为压测工具,采用40个线程、40个连接数运行30秒得出结果。
wrk -t40 -c40 -d30s -T3s –script=auto_json.lua http://
EIS | 滴滴云 tf-serving | |
---|---|---|
压测QPS/RT | 100/127.87ms | 247.61/159.82ms |
100 QPS价格(元/小时) | 0.577 | 2.93 |
性价比 | 5.08 | 1 |
总结
从以上测试结果可看出,在延时大幅降低的情况下,滴滴云弹性推理服务的价格是在滴滴云上自建推理服务的不到2折,性价比极高!