原 【异地备份】pgbackrest如何将PostgreSQL数据库备份到sshfs中?
Tags: 原创PGPostgreSQL备份恢复异地备份pgbackrest
简介
pgBackRest 是一个强大的开源备份和恢复工具,专为 PostgreSQL 数据库设计。它提供了高效、可靠的备份与恢复能力,并支持多种存储后端(如本地磁盘、网络存储、S3 兼容存储等)。
使用场景
- 数据库备份到本地或远程存储。
- 基于时间点的灾难恢复(PITR)。
- 数据库升级或迁移时的数据保护。
- 与 S3 或类似服务的集成,用于云备份。
pgBackRest 的核心功能
高效备份
- 增量备份:只备份自上次完整备份以来更改的数据块,减少存储空间和备份时间。
- 并行处理:支持多线程备份和恢复,提高速度。
- 数据压缩:备份数据可进行压缩以节省存储空间。
- 流复制备份:无需停机即可从主库或从库进行备份。
可靠恢复
- 支持 PITR(Point-in-Time Recovery,时间点恢复)。
- 可以恢复到指定的事务时间点或检查点。
- 提供一致性检查以确保备份数据的完整性。
灵活存储支持
- 支持本地文件系统、NFS、S3 兼容存储(如 AWS S3、MinIO)。
- 支持多个存储库(例如本地和云存储同时备份)。
备份加密
- 使用 AES-256-CBC 加密备份数据,确保数据安全。
备份管理
- 自动删除过期的备份(通过保留策略管理)。
- 可管理多个 PostgreSQL 实例的备份(基于 Stanza)。
监控与日志
- 提供详细的日志记录,便于问题排查。
- 提供统计信息,用于监控备份性能。
pgBackRest 的优点
- 高性能:并行处理和增量备份提升了备份和恢复速度。
- 稳定可靠:确保备份的一致性和完整性,适用于大规模数据库。
- 灵活性:支持多种存储后端和配置方式,适应不同的部署场景。
- 简洁配置:通过配置文件和命令行选项,便于集成和管理。
pgBackRest 的主要组件
Stanza
- 一个 Stanza 代表一个 PostgreSQL 实例。
- 用于区分和管理多个数据库实例的备份。
Repository
- 存储备份数据的物理位置,可以是本地路径或 S3 存储。
- 支持配置多个存储库。
备份类型
- Full(全量备份):备份整个数据库。
- Differential(差异备份):基于最近的全量备份,仅备份变化的数据。
- Incremental(增量备份):基于最近的备份(全量或差异),仅备份变化的数据。
常用命令
初始化 Stanza
1pgbackrest --stanza=mydb --pg1-path=/var/lib/postgresql/data stanza-create检查配置
1pgbackrest --stanza=mydb check进行备份
1pgbackrest --stanza=mydb backup查看备份信息
1pgbackrest --stanza=mydb info恢复数据
1pgbackrest --stanza=mydb restore
使用 pgBackRest 将数据备份到 S3 存储可以通过配置 S3
存储库完成,具体步骤如下:
安装pgBackRest
确保 pgBackRest 已经安装,并且支持 S3。需要确认 libcurl
支持已编译到 pgBackRest 中。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 | wget https://github.com/pgbackrest/pgbackrest/archive/refs/tags/release/2.54.tar.gz yum -y install libyaml-devel libxml2 libxml2-devel bzip2 bzip2-devel export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/pg16/pg16/lib export PATH=$PATH:/pg16/pg16/bin tar -zxvf 2.54.tar.gz cd pgbackrest-release-2.54/src ./configure make -j8 make install ln -s /usr/local/bin/pgbackrest /usr/bin/pgbackrest chmod 755 /usr/local/bin/pgbackrest mkdir -p -m 770 /var/log/pgbackrest chown postgres:postgres /var/log/pgbackrest mkdir -p /etc/pgbackrest mkdir -p /etc/pgbackrest/conf.d touch /etc/pgbackrest/pgbackrest.conf chmod 640 /etc/pgbackrest/pgbackrest.conf chown postgres:postgres /etc/pgbackrest/pgbackrest.conf mkdir -p /var/lib/pgbackrest chmod 750 /var/lib/pgbackrest chown postgres:postgres /var/lib/pgbackrest |
配置 pgBackRest
修改 pgbackrest.conf
文件,为存储库添加 S3 配置。