固定链接 接入层Nginx架构及模块介绍分享

接入层Nginx架构及模块介绍分享

接入层Nginx架构及模块介绍分享

课程目标:

1)帮助大家对Nginx有一定的认识
2)熟悉Nginx有哪些应用场景
3)熟悉Nginx特点和架构模型以及相关流程
4)熟悉Nginx定制化开发的几种模块分类

课程大纲:

  1. Nginx简介及特点
  2. Nginx应用场景
  3. Nginx框架模型介绍
  4. Nginx内部流程介绍
  5. Nginx自定义模块开发介绍
  6. Nginx核心时间点模块介绍
  7. Nginx分流模块介绍
  8. Nginx动态upstream模块介绍
  9. Nginx query_upstrem模块介绍
  10. Nginx query_conf模块介绍
  11. Nginx 共享内存支持redis协议模块介绍
  12. Nginx 日志回放压测工具介绍

1. Nginx简介以及特点

Nginx简介:

Nginx (engine x) 是一个高性能的web服务器和反向代理服务器,也是一个IMAP/POP3/SMTP服务器
– 俄罗斯程序员Igor Sysoev于2002年开始
– Nginx是增长最快的Web服务器,市场份额已达33.3%
– 全球使用量排名第二2011年成立商业公司

Nginx社区分支:
– Openresty作者@agentzh(章宜春)开发的,最大特点是引入了ngx_lua模块,支持使用lua开发插件,并且集合了很多丰富的模块,以及lua库。
– Tengine主要是淘宝团队开发。特点是融入了因淘宝自身的一些业务带来的新功能。
– Nginx官方版本,更新迭代比较快,并且提供免费版本和商业版本。

Nginx源码结构:

  • 代码量大约11万行C代码
  • 源代码目录结构
    • core (主干和基础设置)
    • event (事件驱动模型和不同的IO复用模块)
    • http (HTTP服务器和模块)
    • mail (邮件代理服务器和模块)
    • os (操作系统相关的实现)
    • misc (杂项)

Nginx特点:

  • 反向代理,负载均衡器
  • 高可靠性、单master多worker模式
  • 高可扩展性、高度模块化
  • 非阻塞
  • 事件驱动
  • 低内存消耗
  • 热部署

2. Nginx应用场景

场景如下:

  • 静态文件服务器
  • 反向代理,负载均衡
  • 安全防御
  • 智能路由(企业级灰度测试、地图POI一键切流)
  • 灰度发布
  • 静态化
  • 消息推送
  • 图片实时压缩
  • 防盗链

3. Nginx框架模型介绍

进程组件角色:

  • master进程
    • 监视工作进程的状态
    • 当工作进程死掉后重启一个新的
    • 处理信号和通知工作进程
  • worker进程
    • 处理客户端请求
    • 从主进程处获得信号做相应的事情
  • cache loader进程
    • 加载缓存索引文件信息,然后退出
  • cache manager进程
    • 管理磁盘的缓存大小,超过预定值大小后最少使用数据将被删除

框架模型:
image.png

框架模型流程:
image.png

4. Nginx内部流程介绍

4.1 框架模型流程

image.png

image.png

4.2 master初始化流程

master初始化流程.png

4.3 worker初始化

image.png

4.4 worker初始化流程

worker进程初始化流程.png

4.5 静态文件请求IO流程

image.png

4.6 http请求流程

HTTP请求流程.png

4.7 http请求11个阶段

image.png

4.8 upstream模块

  • 访问第三方Server服务器
  • 底层HTTP通信非常完善
  • 异步非阻塞
  • 上下游内存零拷贝,节省内存
  • 支持自定义模块开发

4.8.1 upstream框架流程

image.png

4.8.2 upstream内部流程

upstream流程.png

4.9 反向代理流程

image.png

5. Nginx定制化模块开发

5.1 Nginx的模块化设计特点

  • 高度抽象的模块接口
  • 模块接口非常简单,具有很高的灵活性
  • 配置模块的设计
  • 核心模块接口的简单化
  • 多层次、多类别的模块设计

5.1 内部核心模块

image.png

Nginx核心模块.png

5.2 handler模块

  • 接受来自客户端的请求并构建响应头和响应体。
    handler.png

5.3 filter模块

  • 过滤(filter)模块是过滤响应头和内容的模块,可以对回复的头和内容进行处理。它的处理时间在获取回复内容之后,向用户发送响应之前。
    filter.png

5.4 upstream模块

  • 使nginx跨越单机的限制,完成网络数据的接收、处理和转发,纯异步的访问后端服务。
    upstream.png

load_balance:
– 负载均衡模块,实现特定的算法,在众多的后端服务器中,选择一个服务器出来作为某个请求的转发服务器。
load_balabce.png

5.3 ngx_lua模块

  • 脚本语言
  • 内存开销小
  • 运行速度快
  • 强大的 Lua 协程
  • 非阻塞
  • 业务逻辑以自然逻辑书写

ngx_lua_phase.png.jpg

5.4 定制化开发Demo

Handler模块:
– 编写config文件
– 编写模块产生内容响应信息

6. Nginx核心时间点模块介绍

解决接入层故障定位慢的问题,帮助OP快速判定问题根因,优先自证清白,提高接入层高效的生产力。
image.png

7. Nginx分流模块介绍

特点:
实现非常灵活的动态的修改策略从而进行切流量。
实现平滑无损的方式进行流量的切换。
通过秒级切换流量可以缩小影响范围,从而减少损失。
按照某一城市或者某个特征,秒级进行切换流量或者禁用流量。
容忍单机房级别容量故障,缩短了单机房故障的止损时间。
快速的将流量隔离或者流量抽样。
高效的灰度测试,提高生产力。
image.png

8. Nginx动态upstream模块介绍

让接入层可以适配动态调度的云环境,实现服务的平滑上下线、弹性扩/缩容。
从而提高接入层高效的生产力以及稳定性,保证业务流量的平滑无损。
image.png

9. Nginx query_upstream模块介绍

链路追踪,梳理接口到后端链路的情况。查询location接口对应upstream server信息。
image.png

10. Nginx query_conf模块介绍

获取nginx配置文件格式化为json格式信息。
image.png

11.Nginx 共享内存支持redis协议模块介绍

根据配置文件来动态的添加共享内存。
https://github.com/lidaohang/ngx_shm_dict
– ngx_shm_dict
共享内存核心模块(红黑树,队列)

  • ngx_shm_dict_manager
    添加定时器事件,定时的清除共享内存中过期的key
    添加读事件,支持redis协议,通过redis-cli get,set,del,ttl

  • ngx_shm_dict_view
    共享内存查看
    image.png

12. Nginx日志回放压测工具

方案说明

  • 客户端解析access.log构建请求的host,port,url,body
  • 把后端响应时间,后端响应状态码,后端响应大小放入header头中
  • 后端服务器获取相应的header,进行模拟响应body大小,响应状态码,响应时间

使用方式

  • 拷贝需要测试的access.log的日志到logs文件夹里面
  • 搭建需要测试的nginx服务器,并且配置upstream 指向后端服务器断端口
  • 启动后端服务器实例 server/backserver/main.go
  • 进行压测 bin/wrk -c30 -t1 -s conf/nginx_log.lua http://localhost:8095

作者:李航

滴滴云小程序上线啦!微信搜索“滴滴云助手”快来体验吧!

您的留言将激励我们越做越好