滴滴云于2019年5月10日发布了弹性推理服务EIS，该服务用于深度学习推理任务，具有高性价比、弹性、易用性等诸多优点。
本文专注分析它的性价比：滴滴云弹性推理服务EIS比在滴滴云上购买GPU云主机自建推理服务价格优势能有多少？
滴滴云弹性推理服务开创性地以推理服务能力——QPS作为配置规格，相比于以资源作为配置规格更加贴近业务用户的需求。
测试标准
为了统一对比的标准，本文把滴滴云上GPU云主机的资源能力转化为推理服务能力——QPS，统一采用Inceptionv3模型，输入(1,224,224,3)作为测试基准。
从推理硬件资源来讲，NVIDIA Tesla P4 GPU 作为主流的推理显卡，主流云计算厂商都有提供，因此选用P4型GPU云主机作为测试对比对象。
推理服务方面，GPU云主机选用开源推理框架TF Serving。滴滴云弹性推理服务EIS和TF Serving都提供HTTP API接口访问，本次对比测试以HTTP API作为推理接口。
测试环境
对比测试的环境如下：
在滴滴云上购买100 QPS的Inceptionv3模型推理服务；
在滴滴云上购买NVIDIA Tesla P4 GPU云主机，基于深度学习开源推理框架TF Serving部署nceptionv3模型推理服务；
分别对以上2种场景进行压测，得出极限QPS数，并通过购买的价格换算出100 QPS Inceptionv3推理服务所需的费用。
滴滴云弹性推理服务EIS测试环境
| 规格 | 配置 |
|---|---|
| Inceptionv3 QPS | 100 |
价格0.577元/小时
滴滴云GPU云主机测试环境
| 规格 | 配置 |
|---|---|
| vCPU (核数) | 16 |
| 内存 (GB) | 32 |
| 系统盘空间 (GB) | 80 |
| 带宽 | 1Mbps |
| GPU | 1 P4 |
| 操作系统 | CentOS 7.5 |
| CUDA版本 | Cuda-9.0 |
| TF Serving版本 | 1.12.0 |
价格：7.254元/小时
测试结果
本文统一用wrk作为压测工具，采用40个线程、40个连接数运行30秒得出结果。
wrk -t40 -c40 -d30s -T3s –script=auto_json.lua http://
| EIS | 滴滴云 tf-serving | |
|---|---|---|
| 压测QPS/RT | 100/127.87ms | 247.61/159.82ms |
| 100 QPS价格(元/小时) | 0.577 | 2.93 |
| 性价比 | 5.08 | 1 |
总结
从以上测试结果可看出，在延时大幅降低的情况下，滴滴云弹性推理服务的价格是在滴滴云上自建推理服务的不到2折，性价比极高！
