合 PG高可用集群之Patroni + etcd + HAProxy + keepalived + Prometheus + Grafana监控 部署
Tags： PG高可用GrafanaPrometheuskeepalivedPatroniHAProxyetcd
👉 本文共约11463个字，系统预计阅读时间或需44分钟。
配置HAProxy和Keepalived
- haproxy 使用C语言开发的一个开源软件，是一款具备高并发(一万以上)、高性能的TCP和HTTP负载均衡器，支持基于cookie的持久性，自动故障切换，支持正则表达式及web状态统计。
- 使用 haproxy 设置端口区分连接主库(5000)和只读从库(5001)，且端口上有负载均衡的功能(两个从库)。
- haproxy 开源官网 https://www.haproxy.org/
- Keepalived 免费开源，用C编写，通过VRRP协议实现多台机器之间的故障转移服务
- keepalived 官方文档 https://www.keepalived.org/manpage.html
1 2 3 | -- 安装 yum install -y haproxy keepalived |
配置HAProxy
使用系统自带的RPM安装的默认配置文件是 /etc/haproxy/haproxy.cfg
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 | cat > /etc/haproxy/haproxy.cfg <<"EOF" global log 127.0.0.1 local2 chroot /var/lib/haproxy pidfile /var/run/haproxy.pid maxconn 5000 user haproxy group haproxy daemon nbproc 2 defaults mode tcp log 127.0.0.1 local2 err option tcplog option dontlognull option redispatch retries 3 maxconn 5000 timeout queue 1m timeout connect 10s timeout client 1m timeout server 1m timeout check 5s listen status bind *:1080 mode http log global stats enable stats refresh 30s stats uri / stats realm Private lands stats auth admin:admin listen master bind *:5000 mode tcp option tcplog balance roundrobin option httpchk OPTIONS /master http-check expect status 200 default-server inter 3s fall 3 rise 2 on-marked-down shutdown-sessions server pg1 172.72.6.71:5432 maxconn 1000 check port 8008 inter 5000 rise 2 fall 2 server pg2 172.72.6.72:5432 maxconn 1000 check port 8008 inter 5000 rise 2 fall 2 server pg3 172.72.6.73:5432 maxconn 1000 check port 8008 inter 5000 rise 2 fall 2 listen replicas bind *:5001 mode tcp option tcplog balance roundrobin option httpchk OPTIONS /replica http-check expect status 200 default-server inter 3s fall 3 rise 2 on-marked-down shutdown-sessions server pg1 172.72.6.71:5432 maxconn 1000 check port 8008 inter 5000 rise 2 fall 2 server pg2 172.72.6.72:5432 maxconn 1000 check port 8008 inter 5000 rise 2 fall 2 server pg3 172.72.6.73:5432 maxconn 1000 check port 8008 inter 5000 rise 2 fall 2 EOF |
参数说明：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 | # 全局定义 global # log 127.0.0.1 local0 info # 全局的日志配置，使用log关键字，指定使用127.0.0.1上的syslog服务中的local0日志设备，记录日志等级为info的日志 log 127.0.0.1 local2 # 日志输出配置，所有日志都记录在本机，通过local0输出，需要在rsyslog做配置 chroot /var/lib/haproxy # 改变当前工作目录 pidfile /var/run/haproxy.pid # 进程PID文件 maxconn 3000 # 最大连接数 user haproxy # 所属用户 group haproxy # 所属组 daemon # 以后台形式运行haproxy nbproc 1 # haproxy 启动时的进程数，<=CPU的核数，创建多个进程数，可以减少每个进程的任务队列，但是过多的进程数也可能会导致进程的崩溃。 stats socket /var/lib/haproxy/stats # 默认部分的定义 defaults mode tcp # 模式 mode {tcp|http|health}, tcp是4层, http是7层, health是健康检测, 只会返回ok log 127.0.0.1 local2 err # 使用 127.0.0.1 上的 syslog 服务的 local2 设备记录错误信息 option tcplog # 如果将 mode 设置为 http，那么您必须将 tcplog 更改为 httplog option dontlognull # 启用该项，日志中将不会记录空连接。所谓空连接就是在上游的负载均衡器或者监控系统为了探测该服务是否存活可用时，需要定期的连接或者获取某一固定的组件或页面，或者探测扫描端口是否在监听或开放等动作被称为空连接；官方文档中标注，如果该服务上游没有其他的负载均衡器的话，建议不要使用该参数，因为互联网上的恶意扫描或其他动作就不会被记录下来。 option redispatch # 当 serverId 对应的服务器挂掉后，强制定向到其他健康的服务器 option abortonclose # 当服务器负载很高的时候，自动结束掉当队列处理比较久的链接 retries 3 # 定义连接后端服务器的失败重连次数，连接失败次数超过此值后将会将对应后端服务器标记为不可用 maxconn 3000 # 默认最大连接数 timeout queue 1m # 当达到服务器的 maxconn 时，连接等待最大时长 timeout connect 10s # 连接超时 timeout client 1m # 客户端非活动状态的超时时长 timeout server 1m # 服务器超时 timeout check 5s # 心跳检测超时 # 配置haproxy web监控，查看统计信息 listen status bind *:1080 # 定义统计页面的端口 mode http log global stats enable # 通过web看状态信息 stats refresh 30s # 统计页面自动刷新时间 maxconn 10 # 最大连接数 stats uri / # 统计页面url，http//ip:1080/ 访问 stats realm Private lands # 设置统计页面认证时的提示内容 stats auth admin:Admin2021 # 设置统计页面认证的用户和密码，如果要设置多个，另起一行写入即可 stats hide-version # 隐藏统计页面上HAProxy的版本信息 listen master bind *:5000 # 定义haproxy前端部分监听的端口 mode tcp option tcplog balance roundrobin # 设置负载算法为：轮询算法 option httpchk OPTIONS /master http-check expect status 200 default-server inter 3s fall 3 rise 2 on-marked-down shutdown-sessions # inter：间隔3秒做一个检测，fall：3次失败会被踢掉，rise：检查2次 server pg1 172.72.6.71:5432 maxconn 1000 check port 8008 inter 5000 rise 2 fall 2 server pg2 172.72.6.72:5432 maxconn 1000 check port 8008 inter 5000 rise 2 fall 2 server pg3 172.72.6.73:5432 maxconn 1000 check port 8008 inter 5000 rise 2 fall 2 |
启动HAProxy：
1 2 3 | systemctl start haproxy systemctl enable haproxy systemctl status haproxy |
浏览器访问 HAProxy
浏览器登录 http://192.168.66.35:1080 输入用户名 admin 密码 admin
本人提供Oracle(OCP、OCM)、MySQL(OCP)、PostgreSQL(PGCA、PGCE、PGCM)等数据库的培训和考证业务，私聊QQ646634621或微信dbaup66，谢谢！
笔耕不辍，我辈学习楷模。