LVS调度策略
本文共 15498 字，大约阅读时间需要 51 分钟。
在讲LVS之前先说一下集群的概念
Cluster
集群，为解决某个特定问题将多台计算机组合起来形成的单个系统。
同一个业务系统，部署在多台服务器上。集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的。
Linux Cluster类型：
LB： Load Balancing，负载均衡
HA： High Availiablity，高可用， SPOF（single Point Of failure） MTBF：Mean Time Between Failure 平均无故障时间 MTTR：Mean Time To Restoration（repair）平均恢复前时间 A=MTBF/（MTBF+MTTR） (0,1)： 99%, 99.5%, 99.9%, 99.99%, 99.999% HPC： High-performance computing，高性能
分布式
一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务。
集群与分布式的区别
分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。
LB Cluster的实现
硬件
- F5 Big-IP
- Citrix Netscaler
- A10 A10
软件
- lvs： Linux Virtual Server(工作在四层及传输层基于内核实现，性能强大功能简单，单负载上/数百万连接)
- nginx：支持七层调度， 阿里七层SLB使用Tengine(单服务器单IP 65536/2连接)
- haproxy：七层调度，支持模拟四层，四层工作于内核， haproxy及nginx是应用程序
- ats： apache traffic server， yahoo捐助
- perlbal： Perl 编写
- pound
关于LVS
LVS，Linux Virtual Server即“Linux虚拟服务器”。
通过LVS可以实现负载均衡集群方案，它是一个针对Linux内核开发的一个负载均衡项目。基于IP地址和内容请求分发的高效的负载均衡解决方法，现已为 Linux 内核的一部分，默认编译为ip_vs模块。
LVS的优点
LVS的抗并发能力强，主要用于服务器集群的负载均衡。它工作在网络层，可以实现高性能，高可用的服务器集群技术。它廉价，可把许多低性能的服务器组合在一起形成一个超级服务器。它易用，配置非常简单，且有多种负载均衡的方法。它稳定可靠，即使在集群的服务器中某台服务器无法正常工作，也不影响整体效果。另外可扩展性也非常好。
LVS工作原理
VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS
LVS集群类型中的术语
- VS： Virtual Server， Director Server(DS)， Dispatcher(调度器)， Load Balancer
- RS： Real Server(lvs), upstream server(nginx)， backend server(haproxy)
- CIP： Client IP
- VIP: Virtual serve IP #VS外网的IP，与客户端相连
- DIP: Director IP #VS内网的IP，与后端服务器相连
- RIP: Real server IP #后端web服务器IP
LVS工作过程
- 当用户集中请求 vs 时，由 vs 进行调度到后端RS集群中，由后端的 RS 集群进行响应。
- ipvs 存在于 INPUT 链上，当用户的请求报文到达 INPUT 链时会首先被 ipvs 进行分析，如果分析到后面的集群服务器就强行将数据报文送至 POSTROUTING 链进行调度转发至 RS 服务器上。
内核中的LVS
[root@CentOS ~]# grep -i -A 10 "IPVS" /boot/config-3.10.0-862.el7.x86_64# IPVS transport protocol load balancing supportCONFIG_IP_VS_PROTO_TCP=y # 开启tcpCONFIG_IP_VS_PROTO_UDP=y # 开启udpCONFIG_IP_VS_PROTO_AH_ESP=yCONFIG_IP_VS_PROTO_ESP=yCONFIG_IP_VS_PROTO_AH=yCONFIG_IP_VS_PROTO_SCTP=y # IPVS scheduler # 默认支持的算法CONFIG_IP_VS_RR=mCONFIG_IP_VS_WRR=mCONFIG_IP_VS_LC=mCONFIG_IP_VS_WLC=mCONFIG_IP_VS_LBLC=mCONFIG_IP_VS_LBLCR=mCONFIG_IP_VS_DH=mCONFIG_IP_VS_SH=mCONFIG_IP_VS_SED=m
LVS集群工具
- ipvsadm：用户空间的命令行工具，规则管理器用于管理集群服务及RealServer
- ipvs：工作于内核空间netfilter的INPUT钩子上的框架
LVS集群类型
- lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
- lvs-dr：操纵封装新的MAC地址
- lvs-tun：在原请求IP报文之外新加一个IP首部
- lvs-fullnat：修改请求报文的源和目标IP
LVS的模式介绍
LVS-NAT模式
本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发。
（1） RIP和DIP应在同一个IP网络，且应使用私网地址； RS的网关要指向DIP （2）请求报文和响应报文都必须经由Director转发， Director易于成为系统瓶颈 （3）支持端口映射，可修改请求报文的目标PORT （4） VS必须是Linux系统， RS可以是任意OS系统NAT模式IP包调度过程
LVS-DR模式
Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变
（1） Director和各RS都配置有VIP （2） 确保前端路由器将目标IP为VIP的请求报文发往Director- 在前端网关做静态绑定VIP和Director的MAC地址
- 在RS上使用arptables工具 arptables -A IN -d $VIP -j DROP arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
- 在RS上修改内核参数以限制arp通告及应答级别 /proc/sys/net/ipv4/conf/all/arp_ignore /proc/sys/net/ipv4/conf/all/arp_announce
（3）RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director
（4）RS和Director要在同一个物理网络 （5）请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client （6）不支持端口映射（端口不能修败） （7）RS可使用大多数OS系统DR模式IP包调度过程
LVS-TUN模式
转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）
(1) DIP, VIP, RIP都应该是公网地址 (2) RS的网关一般不能指向DIP (3) 请求报文要经由Director，但响应不经由Director (4) 不支持端口映射 (5) RS的OS须支持隧道功能TUN模式IP包调度过程
LVS-FULLNAT模式
通过同时修改请求报文的源IP地址和目标IP地址进行转发
CIP --> DIP VIP --> RIP (1) VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP (2) RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client (3) 请求和响应报文都经由Director (4) 支持端口映射注意：此类型kernel默认不支持
LVS模式总结
- lvs-nat与lvs-fullnat：请求和响应报文都经由Director lvs-nat：RIP的网关要指向DIP lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信
- lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发 lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信
LVS调度器根据其调度时RS的负载状态分为静态、动态两种方法
静态方法：根据算法本身进行调度
- RR：roundrobin，轮询
- WRR：Weighted RR，加权轮询
- SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定
- DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商
动态方法：根据RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度
- LC：least connections 适用于长连接应用Overhead=activeconns*256+inactiveconns
- WLC：Weighted LC，默认调度方法Overhead=(activeconns*256+inactiveconns)/weight
- SED：Shortest Expection Delay,初始连接高权重优先Overhead=(activeconns+1)*256/weight
- NQ：Never Queue，第一轮均匀分配，后续SED
- LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理
- LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS
ipvsadm工具包
安装工具包
[root@CentOS7-2 ~]#yum install -y ipvsadm
程序包
[root@CentOS7-2 ~]#rpm -ql ipvsadm/etc/sysconfig/ipvsadm-config # 配置文件/usr/sbin/ipvsadm # 主程序/usr/sbin/ipvsadm-restore # 规则重载工具/usr/sbin/ipvsadm-save # 规则保存工具
集群服务管理
增、改
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
删除
ipvsadm -D -t|u|f service-address
选项
-A：定义集群，可以定义多组集群进行调度
-E：修改定义的集群 -t: TCP协议的端口，VIP:TCP_PORT -u: UDP协议的端口，VIP:UDP_PORT -f：firewall MARK，标记，一个数字 service-address：VIP地址 [-s scheduler]：指定集群的调度算法，默认为wlc [-p [timeout]]：持久绑定时间 -D：删除集群管理集群上的RS
增、改
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
删除
ipvsadm -d -t|u|f service-address -r server-address
选项
-a：添加集群成员Real-server
-e：修改集群成员选项 -r：后端Real-server地址 -g：DR模式 -i：TUN模式 -m：NAT模式，伪装 [-w weight]：权重，默认为1 -d：删除集群成员清空定义的所有规则
[root@CentOS7-2 ~]#ipvsadm -C
清空计数器
[root@CentOS7-2 ~]#ipvsadm -Z [-t|u|f service-address]
查看定义的规则
ipvsadm -L|l [options] --numeric, -n：以数字形式输出地址和端口号 --exact：扩展信息，精确值 --connection，-c：当前IPVS连接输出 --stats：统计信息 --rate：输出速率信息
保存规则
建议保存至/etc/sysconfig/ipvsadm1. ipvsadm-save > /PATH/TO/IPVSADM_FILE2. ipvsadm -S > /PATH/TO/IPVSADM_FILE3. systemctl stop ipvsadm.service
重载规则
1. ipvsadm-restore < /PATH/FROM/IPVSADM_FILE2. ipvsadm -R < /PATH/FROM/IPVSADM_FILE3. systemctl restart ipvsadm.service
LVS-NAT模式案例
注：实验之前请先关闭selinux、清空防火墙规则
规划图
| 主机名 | IP地址 |
|---|---|
| Client | 172.22.58.131 |
| LVS | 172.22.58.150、192.168.36.104 |
| RS1 | 192.168.36.110 |
| RS2 | 192.168.36.120 |
网络配置
Client
[root@Client ~]# route -nKernel IP routing tableDestination Gateway Genmask Flags Metric Ref Use Iface172.22.0.0 0.0.0.0 255.255.0.0 U 1 0 0 eth00.0.0.0 172.22.58.150 0.0.0.0 UG 0 0 0 eth0
Route
[root@LVS ~]#route -nKernel IP routing tableDestination Gateway Genmask Flags Metric Ref Use Iface172.22.0.0 0.0.0.0 255.255.0.0 U 0 0 0 ens37192.168.36.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33# 开启路由转发功能[root@LVS ~]#vim /etc/sysctl.confnet.ipv4.ip_forward = 1[root@LVS ~]#sysctl -pnet.ipv4.ip_forward = 1
RS1
[root@RS1 ~]#route -nKernel IP routing tableDestination Gateway Genmask Flags Metric Ref Use Iface0.0.0.0 192.168.36.104 0.0.0.0 UG 0 0 0 ens33192.168.36.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33
RS2
[root@RS2 ~]# route -nKernel IP routing tableDestination Gateway Genmask Flags Metric Ref Use Iface192.168.36.0 0.0.0.0 255.255.255.0 U 1 0 0 eth00.0.0.0 192.168.36.104 0.0.0.0 UG 0 0 0 eth0
RS服务器配置
两台RS上安装并启动Apache服务
[root@RS1 ~]#yum install -y httpd....[root@RS1 ~]#systemctl restart httpd
创建网页
[root@RS1 ~]#echo "Real Server 110
" >/var/www/html/index.html[root@RS2 ~]#echo "Real Server 120
" >/var/www/html/index.html
VS服务器创建规则
# 安装规则[root@LVS ~]#yum install -y ipvsadm# 配置规则[root@LVS ~]#ipvsadm -A -t 172.22.58.150:80 -s wrr[root@LVS ~]#ipvsadm -LnIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 172.22.58.150:80 wrr[root@LVS ~]#ipvsadm -a -t 172.22.58.150:80 -r 192.168.36.110 -m[root@LVS ~]#ipvsadm -a -t 172.22.58.150:80 -r 192.168.36.120 -m[root@LVS ~]#ipvsadm -LnIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 172.22.58.150:80 wrr -> 192.168.36.110:80 Masq 1 0 0 -> 192.168.36.120:80 Masq 1 0 0
客户端进行VS测试
[root@Client ~]# while true;do curl http://172.22.58.150;sleep 0.5 ;doneReal Server 110
Real Server 120
Real Server 110
Real Server 120
....
修改权重值并测试
[root@LVS ~]#ipvsadm -e -t 172.22.58.150:80 -r 192.168.36.110 -m -w 2[root@LVS ~]#ipvsadm -LnIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 172.22.58.150:80 wrr -> 192.168.36.110:80 Masq 2 0 0 -> 192.168.36.120:80 Masq 1 0 0[root@Client ~]# while true;do curl http://172.22.58.150;sleep 0.5 ;doneReal Server 120
Real Server 110
Real Server 110
Real Server 120
Real Server 110
Real Server 110
LVS-DR模式案例
注：实验之前请先关闭selinux、清空防火墙规则
规划图
| 主机名 | IP地址 |
|---|---|
| Client | 172.22.58.113 |
| Route | 172.22.58.150、192.168.36.104 |
| LVS | 192.168.36.106 |
| RS1 | 192.168.36.110 |
| RS2 | 192.168.36.120 |
网络配置
Client
[root@Client ~]# route -nKernel IP routing tableDestination Gateway Genmask Flags Metric Ref Use Iface172.22.0.0 0.0.0.0 255.255.0.0 U 1 0 0 eth00.0.0.0 172.22.58.150 0.0.0.0 UG 0 0 0 eth0
Route
[root@Route ~]#route -nKernel IP routing tableDestination Gateway Genmask Flags Metric Ref Use Iface172.22.0.0 0.0.0.0 255.255.0.0 U 0 0 0 ens37192.168.36.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33# 开启路由转发功能[root@Route ~]#vim /etc/sysctl.confnet.ipv4.ip_forward = 1[root@Route ~]#sysctl -pnet.ipv4.ip_forward = 1
LVS
[root@LVS ~]#route -nKernel IP routing tableDestination Gateway Genmask Flags Metric Ref Use Iface0.0.0.0 192.168.36.104 0.0.0.0 UG 0 0 0 ens33192.168.36.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33
RS1
[root@RS1 ~]#route -nKernel IP routing tableDestination Gateway Genmask Flags Metric Ref Use Iface0.0.0.0 192.168.36.104 0.0.0.0 UG 0 0 0 ens33192.168.36.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33
RS2
[root@RS2 ~]# route -nKernel IP routing tableDestination Gateway Genmask Flags Metric Ref Use Iface192.168.36.0 0.0.0.0 255.255.255.0 U 1 0 0 eth00.0.0.0 192.168.36.104 0.0.0.0 UG 0 0 0 eth0
RS的配置脚本，生成VIP以及测试网页
分别在RS1、RS2上执行此脚本
[root@RS1 ~]#vim lvs_dr_rs.sh#!/bin/bashvip=192.168.36.200mask='255.255.255.255'dev=lo:1rpm -q httpd &> /dev/null || yum -y install httpd &>/dev/nullservice httpd start &> /dev/null && echo "The httpd Server is Ready!"echo "Real Server 110
" > /var/www/html/index.htmlcase $1 instart) echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce ifconfig $dev $vip netmask $mask #broadcast $vip up #route add -host $vip dev $dev echo "The RS Server is Ready!" ;;stop) ifconfig $dev down echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce echo "The RS Server is Canceled!" ;;*) echo "Usage: $(basename $0) start|stop" exit 1 ;;esac[root@RS2 ~]# bash ./lvs_dr_rs.sh startThe httpd Server is Ready!The RS Server is Ready!
注：
- 限制响应级别：arp_ignore 0：默认值，表示可使用本地任意接口上配置的任意地址进行响应 1: 仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应
- 限制通告级别：arp_announce 0：默认值，把本机所有接口的所有信息向每个接口的网络进行通告 1：尽量避免将接口信息向非直接连接网络进行通告 2：必须避免将接口信息向非本网络进行通告
VS的配置脚本，生成调度规则
[root@LVS ~]#vim lvs_dr_vs.sh#!/bin/bashvip='192.168.36.200'iface='lo:1'mask='255.255.255.255'port='80'rs1='192.168.36.110'rs2='192.168.36.120'scheduler='wrr'type='-g'# rpm -q ipvsadm &> /dev/null || yum -y install ipvsadm &> /dev/nullcase $1 instart) ifconfig $iface $vip netmask $mask #broadcast $vip up iptables -F ipvsadm -A -t ${vip}:${port} -s $scheduler ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1 ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1 echo "The VS Server is Ready!" ;;stop) ipvsadm -C ifconfig $iface down echo "The VS Server is Canceled!" ;;*) echo "Usage: $(basename $0) start|stop" exit 1 ;;esac执行脚本，生成规则[root@LVS ~]#bash ./lvs_dr_vs.sh startThe VS Server is Ready! 规则查看
[root@LVS ~]#ipvsadm -LnIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 192.168.36.200:80 wrr -> 192.168.36.110:80 Route 1 0 0 -> 192.168.36.120:80 Route 1 0 0
调度测试
[root@Client ~]# while true;do curl http://192.168.36.200;sleep 0.5 ;doneReal Server 110
Real Server 120
Real Server 110
Real Server 120
Real Server 110
Real Server 120
....
修改权重，进行测试
[root@LVS ~]#ipvsadm -e -t 192.168.36.200:80 -r 192.168.36.120 -g -w 3[root@Client ~]# while true;do curl http://192.168.36.200;sleep 0.5 ;doneReal Server 110
Real Server 120
Real Server 120
Real Server 120
Real Server 110
Real Server 120
Real Server 120
Real Server 120
....
FireWall Mark
定义
借助于防火墙标记来分类报文，而后基于标记定义集群服务；可将多个不同的应用使用同一个集群服务进行调度。
在LVS-NAT基础上进行配置
清空ipvsadm配置
[root@LVS ~]#ipvsadm -C[root@LVS ~]#ipvsadm -LnIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn
设置防火墙标记位
[root@LVS ~]#iptables -t mangle -A PREROUTING -d 192.168.36.104 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 10[root@LVS ~]#iptables -vnL -t mangleChain PREROUTING (policy ACCEPT 105 packets, 7292 bytes) pkts bytes target prot opt in out source destination 0 0 MARK tcp -- * * 0.0.0.0/0 192.168.36.104 multiport dports 80,443 MARKset 0xa# MARK 用于给特定的报文打标记# --set-mark value# 其中：value 可为0xffff格式，表示十六进制数字
根据标记位配置ipvsadm调度规则
[root@LVS ~]#ipvsadm -A -f 10 -s wrr[root@LVS ~]#ipvsadm -LnIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnFWM 10 wrr[root@LVS ~]#ipvsadm -a -f 10 -r 192.168.36.110 -m[root@LVS ~]#ipvsadm -a -f 10 -r 192.168.36.120 -m[root@LVS ~]#ipvsadm -LnIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnFWM 10 wrr -> 192.168.36.110:0 Masq 1 0 0 -> 192.168.36.120:0 Masq 1 0 0
持久连接
session绑定：对共享同一组RS的多个集群服务，需要统一进行绑定，LVS SH算法无法实现。
持久连接（ lvs persistence ）模板：实现无论使用任何调度算法，在一段时间内（默认360s ），能够实现将来自同一个地址的请求始终发往同一个RSipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
持久连接实现方式：
- 每端口持久（PPC）：每个端口定义为一个集群服务，每集群服务单独调度
- 每防火墙标记持久（PFWMC）：基于防火墙标记定义集群服务；可实现将多个端口上的应用统一调度，即所谓的port Affinity
- 每客户端持久（PCC）：基于0端口（表示所有服务）定义集群服务，即将客户端对所有应用的请求都调度至后端主机，必须定义为持久模式
在FireWall Mark基础上进行测试
[root@LVS ~]#ipvsadm -E -f 10 -s wrr -p # -p：持久连接绑定，单位/s,默认为360s
转载于:https://blog.51cto.com/12980155/2399949
你可能感兴趣的文章