Haproxy搭建Web群集

• 熟悉Haproxy功能及常用群集调度算法
• 会Haproxy常用配置
• 会Haproxy参数优化

1.1 Haproxy概述

? ? ? ? Haproxy是目前比较流行的一致群集调度功能，同类群集调度工具有很多，如LVS和Nginx。相对而言，LVS性能最好，但是搭建相对复杂；Nginx的upstream模块支持群集功能，但是对群集节点健康检查功能不强，高并发性能没有Haproxy好。Haproxy官方网站是http://www.haproxy.org/

? ? ? ? 本章案例介绍使用Haproxy及Nginx搭建一套Web群集

1. HTTP请求

? ? ? ? 通过URL访问网站使用的协议是HTTP协议，此类请求一般称呼为HTTP请求。HTTP请求的方式分为GET方式和POST方式。当使用浏览器访问某一个URL，会根据请求URL返回状态码，通常正常的状态码为2XX、3XX（如200、301），如果出现异常会返回4XX、5XX（如400，500）

? ? ? ? 例如，访问http://www.test.com/a.php?ID=123。就是一个GET请求，如果访问正常，会从服务器的日志中获取200状态码。假如此请求使用POST方式，那么传递给 a.php 的 Id 参数依旧是 123，但是浏览器的 URL 将不会显示后面的 Id=123 字样，因此表单类或者有用 户名、密码等内容提交时建议使用 POST 方式。不管使用哪种方式，最终 a.php 获取的值是 一样的

2. 负载均衡常用调度算法

LVS、Haproxy、Nginx的最常用的调度算法有三种，如下所述

????????（1）RR（Round Robin）。RR 算法是最简单最常用的一种算法，即轮询调度。例如，有三个节点 A、B、C，第一个用户访问会被指派到节点 A，第二个用户访问会被指派到节点 B，第三个用户访问会被指派到节点 C，第四个用户访问继续指派到节点 A，轮询分配访问请求实现负载均衡效果。此算法还有一种加权轮询，即根据每个节点的权重轮询分配访问请求

? ? ? ? （2）LC（Least Connections）。LC 算法即最小连接数算法，根据后端的节点连接数大小动态分配前端请求。例如，有三个节点 A、B、C，各节点的连接数分别为 A∶4、B∶5、C∶ 6，此时如果有第一个用户连接请求，会被指派到 A 上，连接数变为 A∶5、B∶5、C∶6；第二个用户请求会继续分配到 A 上，连接数变为 A∶6、B∶5、C∶6；再有新的请求会分配给 B，每次将新的请求指派给连接数最小的客户端。由于实际情况下 A、B、C 的连接数会动态释放，很难会出现一样连接数的情况，因此此算法相比较 rr 算法有很大改进，是目前用到比较多第 3 页 共 10 页 的一种算法

? ? ? ? （3）SH（Source Hashing）。SH 即基于来源访问调度算法，此算法用于一些有 Session 会话记录在服务器端的场景，可以基于来源的 IP、Cookie 等做群集调度。例如，使用基于源 IP 的群集调度算法，有三个节点 A、B、C，第一个用户第一次访问被指派到了 A，第二个用户第一次访问被指派到了 B，当第一个用户第二次访问时会被继续指派到 A，第二个用户第二次访问时依旧会被指派到 B，只要负载均衡调度器不重启，第一个用户访问都会被指派到 A，第二个用户访问都会被指派到 B，实现群集的调度。此调度算法好处是实现会话保持，但某些 IP 访问量非常大时会引起负载不均衡，部分节点访问量超大，影响业务使用

3. 常见的Web群集调度器

? ? ? ? 目前，常见的Web群集调度器分为软件和硬件。软件通常使用开源的LVS、Haproxy、Nginx，硬件一般使用比较多的是F5。也是很多人使用国内的一些产品，如梭子鱼、绿门等

1.2 案例环境

1. 本案例环境

本案例使用三天服务器模拟搭建一套Web群集，具体拓扑如下

Haproxy群集拓扑

---

案例环境

2. 案例需求

（1）测试安装nginx、haproxy

（2）Haproxy、nginx配置

1.3 案例实施

1. 编译安装Nginx服务器

（1）搭建第一台服务器Nginx，使用软件包进行编译安装

[root@node2 ~]# yum -y install pcre-devel zlib-devel gcc++ gcc
[root@node2 ~]# useradd -M -s /sbin/nologin nginx
[root@node2 ~]# tar zxvf nginx-1.12.0.tar.gz 
[root@node2 ~]# cd nginx-1.12.0/
[root@node2 nginx-1.12.0]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_stub_status_module
[root@node2 nginx-1.12.0]# make && make install

安装完后的默认信息如下

• 默认安装目录：/usr/local/nginx
• 默认日志：/usr/local/nginx/logs/
• 默认监听：80
• 默认 Web 目录：/usr/local/nginx/html

[root@node2 ~]# cd /usr/local/nginx/html/
[root@node2 html]# echo "www.aaa.com" > index.html            //建立测试页面
[root@node2 ~]# /usr/local/nginx/sbin/nginx                //启动Nginx
[root@node2 ~]# netstat -anpt | grep nginx
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      13633/nginx: master 
[root@node2 ~]#

为了方便实验 ，网站没有配置域名 ，直接使用IP地址 。在客户端访问 http://192.168.161.11/test.html 测试

（2）搭建第二服务器Nginx，步骤与之相同就不作介绍了，不同之处在于创建测试页面不同，安装完成后在客户端访问http://192.168.161.12测试

2. 编译安装Haproxy

在 Haproxy 服务器使用 haproxy-1.5.19.tar.gz 安装包进行编译安装

[root@node1 ~]# yum -y install pcre-devel bzip2-devel
[root@node1 ~]# tar xf haproxy-1.5.19.tar.gz 
[root@node1 ~]# cd haproxy-1.5.19/
[root@node1 haproxy-1.5.19]# make TARGET=linux26
[root@node1 haproxy-1.5.19]# make install

3. Haproxy服务器配置

（1）建立Haproxy的配置文件

[root@node1 ~]# mkdir /etc/haproxy            //创建配置文件目录
[root@node1 ~]# cp haproxy-1.5.19/examples/haproxy.cfg /etc/haproxy/        //将配置文件复制到/etc目录下

（2）Haproxy配置项介绍

????????Haproxy 配置文件通常分为三个部分，即 global、defaults 和 listen。global 为全局配置，defaults 为默认配置，listen 为应用组件配置

????????global 配置项通常有下面配置参数，以示例参数说明如下

global
    log 127.0.0.1 local0                //配置日志记录,local0 为日志设备,默认存放到系统日志
    log 127.0.0.1 local1 notice         //notice 为日志级别,通常有 24 个级别
    maxconn 4096                        //最大连接数
    uid 99                              //用户 uid
    gid 99                              //用户 gid
    

????????defaults 配置项配置默认参数，一般会被应用组件继承，如果在应用组件中没有特别声明，将按照默认配置参数设置

defaults
    log global         //定义日志为 global 配置中的日志定义
    mode http         //模式为 http
    option httplog         //采用 http 日志格式记录日志
    retries 3         //检查节点服务器失败次数,连续达到三次失败,则认为节点不可用
    redispatch         //当服务器负载很高时，自动结束当前队列处理比较久的连接
    maxconn 2000         //最大连接数
    contimeout 5000         //连接超时时间
    clitimeout 50000         //客户端超时时间
    srvtimeout 50000         //服务器超时时间

listen 配置项一般配置应用模块参数

listen appli4-backup 0.0.0.0:10004     //定义一个 appli4-backup 的应用
    option httpchk /index.html     //检查服务器的 index.html 文件
    option persist     //强制将请求发送到已经 down 掉的服务器
    balance roundrobin     //负载均衡调度算法使用轮询算法
    server inst1 192.168.114.56:80 check inter 2000 fall 3     //定义在线节点
    server inst2 192.168.114.56:81 check inter 2000 fall 3 backup     //定义备份节点

（2）修改haproxy配置文件

根据目前的群集设计，将 haproxy.cfg 配置文件的内容修改如下

[root@node1 ~]# vim /etc/haproxy/haproxy.cfg
global
        log 127.0.0.1   local0
        log 127.0.0.1   local1 notice
        #log loghost    local0 info
        maxconn 4096
        #chroot /usr/share/haproxy
        uid 99
        gid 99
        daemon
        #debug
        #quiet

defaults
        log     global
        mode    http
        option  httplog
        option  dontlognull
        retries 3
        redispatch
        maxconn 2000
        contimeout      5000
        clitimeout      50000
        srvtimeout      50000

listen  webcluster 0.0.0.0:80
        option httpchk GET /index.html
        balance roundrobin
        server  aaa 192.168.161.11:80 check inter 2000 fall 3            //Nginx服务器IP地址
        server  aaa 192.168.161.12:80 check inter 2000 fall 3

4. 创建自启动脚本

[root@node1 ~]# cp haproxy-1.5.19/examples/haproxy.cfg /etc/haproxy/
[root@node1 ~]# vim /etc/haproxy/haproxy.cfg 
[root@node1 ~]# cp haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
[root@node1 ~]# ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
[root@node1 ~]# chmod +x /etc/init.d/haproxy 
[root@node1 ~]# chkconfig --add /etc/init.d/haproxy 
[root@node1 ~]# /etc/init.d/haproxy start

5. 测试Web群集

????????通过上面的步骤，已经搭建完成 Haproxy 的 Web 群集，接下来需要验证群集是否工作正 常。一个群集一般需要具备两个特性，第一个是高性能，第二个是高可用

（1）测试高性能

在客户端使用浏览器打开http://192.168.161.10，浏览器显示信息如图

再次打开一个新的浏览器页面访问http://192.168.161.10，浏览器显示信息如图（可能需要刷新一下）

可以看到群集的负载均衡调度已经生效，已经满足了群集的高性能需求

（2）测试高可用

? 现在将192.168.161.11的Nginx服务关闭，在客户端使用浏览器打开http://192.168.161.10，浏览器显示信息仍然是（www.bbb.com）

从中可以看出，当一台节点故障，不会影响群集的使用，这样就满足了群集的高可用性。 也可以将 192.168.161.11?的 Nginx 服务恢复，再将 192.168.161.12?的 Nginx 服务停用，测试高可用性

6. Haproxy的参数优化

????????关于 Haproxy 的参数优化，以下列举了几个关键的参数，并对各参数的生产环境的优化建议做了说明，如表