七叶笔记 » golang编程 » 高并发最佳实践OpenResty(Nginx+Lua)

高并发最佳实践OpenResty(Nginx+Lua)

分类: golang编程 | 浏览: 532

open Resty简介

以下内容来源与OpenResty官网，更多信息可进入官网了解

OpenResty® 是一个基于 nginx 与 lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

OpenResty® 通过汇聚各种设计精良的 Nginx 模块（主要由 OpenResty 团队自主开发），从而将 Nginx 有效地变成一个强大的通用 Web 应用平台。这样，Web 开发人员和 系统工程师 可以使用 Lua 脚本语言 调动 Nginx 支持的各种 C 以及 Lua 模块，快速构造出足以胜任 10K 乃至 1000K 以上单机并发连接的高性能 Web 应用系统。

OpenResty® 的目标是让你的Web服务直接跑在 Nginx 服务内部，充分利用 Nginx 的非阻塞 I/O 模型，不仅仅对 HTTP 客户端请求,甚至于对远程后端诸如 MySQL、PostgreSQL、 Memcached 以及 redis 等都进行一致的高性能响应

Nginx优点

1、可以高并发连接

官方测试Nginx能够支撑5万并发连接，实际生产环境中可以支撑2~4万并发连接数。

原因，主要是Nginx使用了最新的epoll（ LINUX 2.6内核）和kqueue（freeBSD）网路I/O模型，而Apache使用的是传统的Select模型，其比较稳定的Prefork模式为多进程模式，需要经常派生子进程，所以消耗的CPU等服务器资源，要比Nginx高很多。

2、内存消耗少

Nginx+PHP（FastCGI）服务器，在3万并发连接下，开启10个Nginx进程消耗150MB内存，15MB*10=150MB，开启的64个PHP-CGI进程消耗1280内存，20MB*64=1280MB，加上系统自身消耗的内存，总共消耗不到2GB的内存。

如果服务器的内存比较小，完全可以只开启25个PHP-CGI进程，这样PHP-CGI消耗的总内存数才500MB。

3、成本低廉

购买F5BIG-IP、 NetScaler 等硬件负载均衡交换机，需要十多万到几十万人民币，而Nginx为开源软件，采用的是2-clause BSD-like协议，可以免费试用，并且可用于商业用途。

BSD开源协议是一个给使用者很大自由的协议，协议指出可以自由使用、修改源代码、也可以将修改后的代码作为开源或专用软件再发布。

4、配置文件非常简单

网络和程序一样通俗易懂，即使，非专用系统管理员也能看懂。

5、支持 Rewrite 重写

能够根据域名、URL的不同，将http请求分到不同的后端服务器群组。

6、内置的健康检查功能

如果NginxProxy后端的某台Web服务器宕机了，不会影响前端的访问。

7、节省带宽

支持GZIP压缩，可以添加浏览器本地缓存的 Header 头。

8、稳定性高

用于反向代理，宕机的概率微乎其微。

9、支持热部署

Nginx支持热部署，它的自动特别容易，并且，几乎可以7天*24小时不间断的运行，即使，运行数个月也不需要重新启动，还能够在不间断服务的情况下，对软件版本进行升级。

Nginx、Apache、Lighttpd对比

可以看出，Nginx在反向代理、Rewrite规则、稳定性、静态文件处理，内存消耗等方面，有很强的优势，使用Nginx取代传统的Apache服务器，会得到多方面的性能提升。

Lua基础学习

可以加C/C++ linux服务器 高级架构一线互联网学习群下载资料学习基础的内容，私信：1，获取，这里不过多赘述，以下视频都可以下载直接学习。

粉丝福利 ：关注并私信：1，免费领取收藏整理的更多LINUX免费文档，面试资料，教程视频，包括知识点有C/C++，Linux，golang技术，Nginx，ZeroMQ，MySQL， Redis ，fastdfs， MongoDB ， ZK ， 流媒体 ， CDN ，P2P，K8S， Docker ，TCP/IP，协程，DPDK等等。

环境搭建

window下环境搭建

下载好适合版本

  • 解压压缩包

  • 创建lua目录源文件目录，用于写 测试脚本 ：进入lualib目录，创建testcode目录

编写测试lua脚本：在testcode目录下创建testlua.lua,并编写以下 脚本 信息

  • 编辑nginx配置：按以下目录编辑对应配置文件

在80的server中添加以下配置:

  • 启动服务openresty的Nginx服务：进入cmd，并进入到openresty对应的目录，使用nginx -t 检测nginx的配置是否正确

启动nginx服务

测试nginx是否正常：打开浏览器，输入:，得到以下界面说明Nginx配置正常且已经正常运行

测试OpenResty：打开浏览器，输入:

到这里，window下的OpenResty环境即搭建完成

Linux(CentOS 7)下环境搭建

更多linux版本下的源码安装，请参考官网

你可以在你的 CentOS 系统中添加 openresty 仓库，这样就可以便于未来安装或更新我们的软件包（通过 yum update 命令）。

  • 运行下面的命令就可以添加openresty 的仓库：

  • 然后就可以像下面这样安装 软件包 ，比如 openresty：

  • 如果你想安装命令行工具 resty，那么可以像下面这样安装 openresty-resty 包：

  • 命令行工具 opm 在 openresty-opm 包里，而 restydoc 工具在 openresty-doc 包里头。

列出所有 openresty 仓库里头的软件包：

  • 添加lua的脚本目录

cd /usr/local/openresty/lualib/

mkdir testcode

cd testcode

  • 创建测试lua脚本

cd /usr/local/openresty/lualib/testcode

vim testlua.lua

添加以下脚本内容

保存:wq!

  • 配置ngnix关联lua文件

cd /usr/local/openresty/nginx/conf/

vi nginx.conf

在80的server中添加以下配置信息

  • 启动nginx服务

cd /usr/local/openresty/nginx

sbin/nginx

  • 测试nginx是否正常

打开浏览器，输入linux的ip地址,如:显示如下效果，说明nginx已经正常启动

  • 测试OpenResty是否正常

打开浏览器,输入:显示如下效果，说明OpenResty正常

linux下ab性能测试

  • linux服务器环境说明 测试使用的是window下安装的VM虚拟机，linux的硬件分配为 1核 700兆内存
  • linux下ab工具安装 yum -y install httpd-tools
  • 查看ab版本 ab -v

  • 压力测试

1W并发

ab -c 10000 -n 100000 127.0.0.1 /luatest

注:10000个并发，一共请求10万次

测试结果:

1.5W并发

ab -c 15000 -n 100000 127.0.0.1/luatest

2W并发

ab -c 20000 -n 100000 127.0.0.1/luatest

总结

优点

  • 高并发：根据以上的测试来看，一台1核700兆的 linux虚拟机 即可跑出2W的并发，足以说明OpenResty处理高并发的能力，由于ab工具的限制，只能测试上限2W的并发，因此，这里也只做到了2W的测试。
  • 热更新：Lua属于脚本语言，编译之后即可运行；Nginx具备优雅重启的功能；因此，线上业务如果出现问题需要及时修复的，更新修改Lua脚本之后，重启Nginx即可完成更新发布；如果没有配置Lua缓存功能的话，只要更新Lua脚本即可更新修复线上问题，不重启Nginx也可以。

缺点

  • 不适合处理复杂的业务逻辑：由于功能性的东西主要使用Lua进行开发，受Lua语言特性的影响，不太适合做业务比较复杂的功能。
  • 互联网上资料比较少：互联网上可以找的资料比较少；不过，本身Lua的学习过程不是特别的复杂，所以，这基本不会成为你学习它的障碍

可适用的场景

  • 高访问下的应用及官网的主页：如商城，咨询类的应用首页，会存在大量的请求，由于涉及到的内容比较多；所以可是私用预载入的形式，将主页的数据放置在redis中；使用OpenResty+redis实现首页，官网主页的高并发加载
  • 商城类的秒杀功能：秒杀功能会存在短时间的请求洪峰，如果处理不当可能会造成down机的风险，可以结合OpenResty+redis实现秒杀的功能
  • ip限流：互联网系统可能存在非法用户恶意暴力请求，导致正常的用户无法使用，可以通过OpenResty+redis实现ip的白名单机制，去拦截非法的用户ip
  • APP灰度升级发布:可以根据系统的数据及条件实现APP的灰度升级测试

相关文章