MPP架构之Greenplum的安装配置初级版

0    577    7

Tags:

👉 本文共约2446个字,系统预计阅读时间或需10分钟。

简介

Greenplum是一个面向数据仓库应用的关系型数据库,因为有良好的体系结构,所以在数据存储、高并发、高可用、线性扩展、反应速度、易用性和性价比等方面有非常明显的优势。Greenplum是一种基于PostgreSQL的分布式数据库,其采用sharednothing架构,主机、操作系统、内存、存储都是自我控制的,不存在共享。
本质上讲Greenplum是一个关系型数据库集群,它实际上是由数个独立的数据库服务组合成的逻辑数据库。与RAC不同,这种数据库集群采取的是MPP(Massively Parallel Processing)架构。跟MySQL、Oracle 等关系型数据不同,Greenplum可以理解为分布式关系型数据库。
关于Greenplum的更多信息请访问https://greenplum.org/

下载

可以从 Greenplum 的 GitHub 页面(https://github.com/greenplum-db/gpdb/releases)下载RPM 包,或注册并登录到 Pivotal 公司官网(https://network.pivotal.io/products/vmware-tanzu-greenplum)进行下载

安装包大约65MB,如下:

环境

本文以1个master,2个segment的集群示例,OS均为CentOS 7.6:

172.72.6.40 master lhrpg40

172.72.6.41 segment1 lhrpg41

172.72.6.42 segment2 lhrpg42

只为两个segment节点配置高可用的mirror节点,master的高可用可以使用流复制实现。

修改/etc/hosts文件

在Greenplum中,习惯将Master机器叫做mdw,将Segment机器叫做sdw。dw的含义为Data Warehouse。

mdw和sdw只是一个主机的别名,不影响程序去查找IP。

创建用户和集群配置文件

所有节点创建gpadmin用户:

为所有的节点创建一个all_hosts文件,包含所有节点主机名:

为所有的节点创建一个 seg_hosts文件 ,包含所有的Segment Host的主机名:

配置互信

只在master节点操作

安装GP

在所有节点操作:

默认的安装路径是/usr/local,修改该路径gpadmin操作权限:

创建目录,用作集群数据的存储目录:

本人提供Oracle(OCP、OCM)、MySQL(OCP)、PostgreSQL(PGCA、PGCE、PGCM)等数据库的培训和考证业务,私聊QQ646634621或微信dbaup66,谢谢!

配置环境变量

数据库初始化

Greenplum 配置文件模板都在/usr/local/greenplum-db/docs/cli_help/gpconfigs目录下,其中gpinitsystem_config是初始化 Greenplum 的模板。

在master节点操作:

在master节点操作:创建一个初始化副本 initgp_config,根据前面的配置,修改参数

在master节点操作:执行初始化命令:

初始化数据库时根据脚本的提示操作即可,如果配置有问题,gpinitsystem 命令就不能运行成功,错误日志存储在 /home/gpadmin/gpAdminLogs 中,需要认真查看日志报错信息,
修改正确后再重新安装。

若初始化失败,需要删除/opt/greenplum/data下的数据资源目录重新初始化。

初始化过程:

GP验证

若初始化成功,则GP自动启动,可以看到master节点上的5432已经在listen了,psql进入数据库,开始greenplum之旅。

启动和关闭

使用gpstart -a 启动greenplum;使用gpstop -a关闭greenplum:

配置远程登录

1、本地登陆修改密码

2、修改pg_hba.conf

3、远程登录

基本运维操作

  • 启动数据库服务
    gpstart,系统会自检,并提示是否启动服务,选择y,启动服务
    gpstart -a 则系统无任何提示,进行启动
    gpstart -q 如果不希望屏幕输出
    gpstart -h 具体的选项帮助说明
    ps -ef|grep postgre 查看相关的服务进程

  • 如何关闭数据库服务
    gpstop
    gpstop -M fast 想强行关闭服务
    gpstop -u 重启系统
    该工具提供了-t选项,增加允许的超时设置。这对系统关闭时存在大量回滚数据的情况非常有用(过去的默认超时是60秒)
    gpstop -h 获取选项帮助

  • gpstate :显示Greenplum数据库运行状态,详细配置等信息 常用可选参数:
    -c:primary instance 和 mirror instance 的对应关系
    -m:只列出mirror 实例的状态和配置信息
    -f:显示standby master 的详细信息
    -s:查看详细状态,如在同步,可显示数据同步完成百分比
    --version,查看数据库version
    (也可使用pg_controldata查看数据库版本和postgresql版本) 该命令默认列出数据库运行状态汇总信息,常用于日常巡检。

我们可以通过任何装有psql客户端的机器连接GP数据库,比如

其中-d指定了连接数据库的名称,-U指定了连接数据库的用户名,也称为角色,-p指定了连接使用的端口,默认值是5432,-h指定了master对外服务的主机名。
修改用户密码:alter role xxx with password 'xxx'

巡检

参考:Greenplum数据库巡检脚本

参考

https://docs.greenplum.org/6-16/install_guide/install_gpdb.html

https://blog.csdn.net/DongGeGe214/article/details/80923257

http://docs-cn.greenplum.org/v5/ref_guide/system_catalogs/catalog_ref-tables.html#topic1

标签:

Avatar photo

小麦苗

学习或考证,均可联系麦老师,请加微信db_bao或QQ646634621

您可能还喜欢...

发表回复