Nginx图解

本文将围绕如下几个部分进行讲解：

• Nginx 简介及特点
• Nginx 应用场景
• Nginx 框架模型介绍
• Nginx 内部流程介绍
• Nginx 自定义模块开发介绍
• Nginx 核心时间点模块介绍
• Nginx 分流模块介绍
• Nginx 动态 upstream 模块介绍
• Nginx query_upstrem 模块介绍
• Nginx query_conf 模块介绍
• Nginx 共享内存支持 Redis 协议模块介绍
• Nginx 日志回放压测工具介绍

Nginx 简介以及特点

Nginx (engine x) 是一个高性能的 Web 服务器和反向代理服务器，也是一个 IMAP/POP3/SMTP 服务器：

• 它由俄罗斯程序员 Igor Sysoev 于 2002 年开始开发。
• Nginx 是增长最快的 Web 服务器，市场份额已达 33.3%。
• 全球使用量排名第二，2011 年成立商业公司。

Nginx 社区分支：

• Openresty：作者 @agentzh(章宜春) 开发的，最大特点是引入了 ngx_lua 模块，支持使用 Lua 开发插件，并且集合了很多丰富的模块，以及 Lua 库。
• Tengine：主要是淘宝团队开发。特点是融入了因淘宝自身的一些业务带来的新功能。
• Nginx 官方版本，更新迭代比较快，并且提供免费版本和商业版本。

Nginx 源码结构 (代码量大约 11 万行 C 代码)：

• 源代码目录结构 Core(主干和基础设置)
• Event(事件驱动模型和不同的 IO 复用模块)
• HTTP(HTTP 服务器和模块)
• Mail(邮件代理服务器和模块)
• OS(操作系统相关的实现)
• Misc(杂项)

Nginx 特点如下：

• 反向代理，负载均衡器
• 高可靠性、单 Master 多 Worker 模式
• 高可扩展性、高度模块化
• 非阻塞
• 事件驱动
• 低内存消耗
• 热部署

Nginx 应用场景

Nginx 的应用场景如下：

• 静态文件服务器
• 反向代理，负载均衡
• 安全防御
• 智能路由 (企业级灰度测试、地图 POI 一键切流)
• 灰度发布
• 静态化
• 消息推送
• 图片实时压缩
• 防盗链

Nginx 框架模型介绍

进程组件角色：

• Master 进程：监视工作进程的状态; 当工作进程死掉后重启一个新的; 处理信号和通知工作进程。
• Worker 进程：处理客户端请求，从主进程处获得信号做相应的事情。
• Cache Loader 进程：加载缓存索引文件信息，然后退出。
• Cache Manager 进程：管理磁盘的缓存大小，超过预定值大小后最少使用数据将被删除。

Nginx 的框架模型如下图：

框架模型流程如下图：

Nginx 内部流程介绍

Nginx 框架模型流程如下图：

Master 初始化流程，如下图：

Worker 初始化：

Worker 初始化流程图如下：

静态文件请求 IO 流程如下图：

HTTP 请求流程如下图：

HTTP 请求 11 个阶段，如下图所示：

upstream 模块：

• 访问第三方 Server 服务器
• 底层 HTTP 通信非常完善
• 异步非阻塞
• 上下游内存零拷贝，节省内存
• 支持自定义模块开发

upstream 框架流程，如下图：

upstream 内部流程，如下图：

反向代理流程，如下图：

Nginx 定制化模块开发

Nginx 的模块化设计特点如下：

• 高度抽象的模块接口
• 模块接口非常简单，具有很高的灵活性
• 配置模块的设计
• 核心模块接口的简单化
• 多层次、多类别的模块设计

内部核心模块：

Handler 模块：接受来自客户端的请求并构建响应头和响应体。

Filter 模块：过滤 (filter) 模块是过滤响应头和内容的模块，可以对回复的头和内容进行处理。它的处理时间在获取回复内容之后，向用户发送响应之前。

Upstream 模块：使 Nginx 跨越单机的限制，完成网络数据的接收、处理和转发，纯异步的访问后端服务。

Load_Balance：负载均衡模块，实现特定的算法，在众多的后端服务器中，选择一个服务器出来作为某个请求的转发服务器。

ngx_lua 模块：

• 脚本语言
• 内存开销小
• 运行速度快
• 强大的 Lua 协程
• 非阻塞
• 业务逻辑以自然逻辑书写

定制化开发 Demo

Handler 模块：

• 编写 config 文件
• 编写模块产生内容响应信息

`#配置文件： 
server { 
    ...     
    location test { 
        test_counter on; 
    } 
} 
#config 
ngx_addon_name=ngx_http_test_module 
HTTP_MODULES="$HTTP_MODULES ngx_http_test_module"
NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_test_module.c"
#ngx_http_test_module.c 
static ngx_int_t 
ngx_http_test_handler(ngx_http_request_t *r) 
{ 
    ngx_int_t                               rc; 
    ngx_buf_t                               *b; 
    ngx_chain_t                             out; 
    ngx_http_test_conf_t                    *lrcf; 
    ngx_str_t                               ngx_test_string = ngx_string("hello test"); 
    lrcf = ngx_http_get_module_loc_conf(r, ngx_http_test_module); 
    if ( lrcf->test_counter == 0 ) { 
        return NGX_DECLINED; 
    } 
    /* we response to'GET'and'HEAD' requests only */ 
    if ( !(r->method & (NGX_HTTP_GET|NGX_HTTP_HEAD)) ) { 
            return NGX_HTTP_NOT_ALLOWED; 
    } 
    /* discard request body, since we don't need it here */ 
    rc = ngx_http_discard_request_body(r); 
    if ( rc != NGX_OK ) { 
        return rc; 
    } 
    /* set the 'Content-type' header */ 
    /* 
     *r->headers_out.content_type.len = sizeof("text/html") - 1; 
     *r->headers_out.content_type.data = (u_char *)"text/html"; 
    */ 
    ngx_str_set(&r->headers_out.content_type, "text/html"); 
    /* send the header only, if the request type is http 'HEAD' */ 
    if ( r->method == NGX_HTTP_HEAD ) { 
        r->headers_out.status = NGX_HTTP_OK; 
        r->headers_out.content_length_n = ngx_test_string.len; 
        return ngx_http_send_header(r); 
    } 
    /* set the status line */ 
    r->headers_out.status = NGX_HTTP_OK; 
    r->headers_out.content_length_n =  ngx_test_string.len; 
    /* send the headers of your response */ 
    rc = ngx_http_send_header(r); 
    if ( rc == NGX_ERROR || rc > NGX_OK || r->header_only ) { 
        return rc; 
    } 
    /* allocate a buffer for your response body */ 
    b = ngx_pcalloc(r->pool, sizeof(ngx_buf_t)); 
    if ( b == NULL ) { 
        return NGX_HTTP_INTERNAL_SERVER_ERROR; 
    } 
    /* attach this buffer to the buffer chain */ 
    out.buf = b; 
    out.next = NULL; 
    /* adjust the pointers of the buffer */ 
    b->pos = ngx_test_string.data; 
    b->last = ngx_test_string.data + ngx_test_string.len; 
    b->memory = 1;    /* this buffer isin memory */ 
    b->last_buf = 1;  /* this is the last buffer in the buffer chain */ 
    /* send the buffer chain of your response */ 
    return ngx_http_output_filter(r, &out); 
}` 
*   1.
*   2.
*   3.
*   4.
*   5.
*   6.
*   7.
*   8.
*   9.
*   10.
*   11.
*   12.
*   13.
*   14.
*   15.
*   16.
*   17.
*   18.
*   19.
*   20.
*   21.
*   22.
*   23.
*   24.
*   25.
*   26.
*   27.
*   28.
*   29.
*   30.
*   31.
*   32.
*   33.
*   34.
*   35.
*   36.
*   37.
*   38.
*   39.
*   40.
*   41.
*   42.
*   43.
*   44.
*   45.
*   46.
*   47.
*   48.
*   49.
*   50.
*   51.
*   52.
*   53.
*   54.
*   55.
*   56.
*   57.
*   58.
*   59.
*   60.
*   61.
*   62.
*   63.
*   64.
*   65.
*   66.
*   67.
*   68.
*   69.
*   70.
*   71.
*   72.
*   73.
*   74.
*   75.
*   76.
*   77.
*   78.
*   79.
*   80.
*   81.
*   82.

Nginx 核心时间点模块介绍

解决接入层故障定位慢的问题，帮助 OP 快速判定问题根因，优先自证清白，提高接入层高效的生产力。

Nginx 分流模块介绍

Nginx 分流模块特点如下：

• 实现非常灵活的动态的修改策略从而进行切流量。
• 实现平滑无损的方式进行流量的切换。
• 通过秒级切换流量可以缩小影响范围，从而减少损失。
• 按照某一城市或者某个特征，秒级进行切换流量或者禁用流量。
• 容忍单机房级别容量故障，缩短了单机房故障的止损时间。
• 快速的将流量隔离或者流量抽样。
• 高效的灰度测试，提高生产力。

Nginx 动态 upstream 模块介绍

让接入层可以适配动态调度的云环境，实现服务的平滑上下线、弹性扩 / 缩容。

从而提高接入层高效的生产力以及稳定性，保证业务流量的平滑无损。

Nginx query_upstream 模块介绍

链路追踪，梳理接口到后端链路的情况。查询 location 接口对应 upstream server 信息。

Nginx query_conf 模块介绍

获取 Nginx 配置文件格式化为 json 格式信息：

Nginx 共享内存支持 Redis 协议模块介绍

根据配置文件来动态的添加共享内存：

`https://github.com/lidaohang/ngx_shm_dict` 
*   1.

ngx_shm_dict：共享内存核心模块 (红黑树，队列)

ngx_shm_dict_manager：添加定时器事件，定时的清除共享内存中过期的 Key，添加读事件，支持 Redis 协议，通过 redis-cli get，set，del，ttl

ngx_shm_dict_view：共享内存查看

Nginx 日志回放压测工具

解析日志进行回放压测，模拟后端服务器慢等各种异常情况 ：

`https://github.com/lidaohang/playback-testing` 
*   1.

方案说明：

• 客户端解析 access.log 构建请求的 host，port，url，body。
• 把后端响应时间，后端响应状态码，后端响应大小放入 header 头中。
• 后端服务器获取相应的 header，进行模拟响应 body 大小，响应状态码，响应时间。

使用方式：

• 拷贝需要测试的 access.log 的日志到 logs 文件夹里面。
• 搭建需要测试的 Nginx 服务器，并且配置 upstream 指向后端服务器断端口
• 启动后端服务器实例

`server/backserver/main.go` 
*   1.

• 进行压测

`bin/wrk -c30 -t1 -s conf/nginx_log.lua http://localhost:8095` 
*   1.

【51CTO 原创稿件，合作站点转载请注明原文作者和出处为 51CTO.com】
https://developer.51cto.com/article/612549.html