合 GreenPlum中的gp_toolkit管理模式

发布日期 · 已更新  

0    210    5

Tags：

👉 本文共约33924个字，系统预计阅读时间或需128分钟。

目录

简介

Greenplum数据库提供了一个名为gp_toolkit的管理模式，可用于查询系统catalog，日志文件和操作环境中的系统状态信息。 gp_toolkit模式包含许多视图，您可以使用SQL命令访问这些视图。 尽管某些对象可能需要超级用户权限，但所有数据库用户都可以访问gp_toolkit模式。 为了方便起见，您可能需要将gp_toolkit模式添加到模式搜索路径。 例如：

本文档介绍了gp_toolkit中最有用的视图。 您可能会注意到gp_toolkit模式中的其他对象（视图，函数和外部表）在本文档中未描述（这些是本节中描述的视图的支持对象）。

Warning: 不要在gp_toolkit模式中更改数据库对象。 不要在模式中创建数据库对象。 对模式对象的更改可能会影响模式对象返回的管理信息的准确性。 备份数据库，然后使用gpbackup和gprestore实用程序还原时， 在gp_toolkit模式中所做的任何更改都将丢失。

检查需要例行维护的表（表膨胀相关查询）

以下视图可以帮助您识别需要日常维护的表 （VACUUM和/或ANALYZE）。

VACUUM或VACUUM FULL命令可回收已删除或过时的行所占用的磁盘空间。 由于Greenplum数据库中使用了MVCC事务并发模型，即使任何新事务都不可见，被删除或更新的数据行仍占据磁盘上的物理空间。 过期的行会增加磁盘上的表大小，并最终减慢表的扫描速度。

ANALYZE命令收集查询优化器所需的列级统计信息。 Greenplum数据库使用依赖数据库统计信息的基于成本的查询优化器。 准确的统计信息使查询优化器可以更好地估计选择性和查询操作检索到的行数，从而选择最有效的查询计划。

gp_bloat_diag

此视图显示膨胀的常规堆存储表（给定表统计信息，磁盘上的实际页面数超过了预期的页面数）。 膨胀的表需要VACUUM或VACUUM FULL，才能回收已删除或过时的行所占用的磁盘空间。 所有用户都可以访问该视图，但是非超级用户将只能看到他们有权访问的表。

Note: 有关返回追加优化表信息的诊断函数，请参阅检查追加优化表。

列描述
bdirelid表OID。
bdinspname模式名称。
bdirelname表名。
bdirelpages磁盘上实际页的数量。
bdiexppages给定表数据的预期页数。
bdidiag膨胀诊断消息。

gp_stats_missing

该视图显示的表没有统计信息，因此可能需要对该表运行ANALYZE。

列描述
smischema模式名称。
smitable表名。
smisize该表是否有统计信息？ 如果该表没有在系统catalog中记录行数和行大小统计信息，则为False，这可能表明该表需要进行分析。 如果表不包含任何行，这也将为false。 例如，分区表的父表始终为空，并且始终返回false。
smicols表中的列数。
smirecs表中的行数。

检查锁

当事务访问关系（例如表）时，它获取一个锁。 根据获取的锁的类型，后续事务可能必须等待才能访问相同的关系。 有关锁类型的更多信息，请参阅Greenplum数据库管理员指南中的“管理数据”。 Greenplum数据库资源队列（用于资源管理）还使用锁来控制查询进入系统的权限。

gplocks*系列视图可以帮助诊断由于锁定而正在等待访问对象的查询和会话。

gp_locks_on_relation

此视图显示当前在某个关系上持有的所有锁，以及有关与该锁关联的查询的关联会话信息。 有关锁类型的更多信息，请参阅Greenplum数据库管理员指南中的“管理数据”。 所有用户都可以访问此视图，但是非超级用户将只能看到他们有权访问的关系的锁。

列描述
lorlocktype可锁定对象的类型：relation, extend, page, tuple, transactionid, object, userlock, resource queue, 或 advisory
lordatabase对象所在的数据库的对象ID，如果该对象是共享对象，则为零。
lorrelname关系的名称。
lorrelation关系的OID。
lortransaction受锁影响的事务ID。
lorpid持有或正在等待此锁定的服务器进程的进程ID。 如果锁由准备好的事务持有，则为NULL。
lormode此进程持有或需要的锁定模式的名称。
lorgranted显示是授予锁（true）还是不授予锁（false）。
lorcurrentquery会话中的当前查询。

gp_locks_on_resqueue

Note: 仅当基于资源队列的资源管理处于活动状态时，gp_locks_on_resqueue视图才有效。

该视图显示了资源队列中当前持有的所有锁，以及与该锁关联的查询的关联会话信息。 所有用户都可以访问此视图，但是非超级用户将只能看到与其自己的会话相关联的锁。

列描述
lorusename执行会话的用户名。
lorrsqname资源队列名称。
lorlocktype可锁定对象的类型：资源队列
lorobjid锁定事务的ID。
lortransaction受锁影响的事务的ID。
lorpid受锁影响的事务的进程ID。
lormode此进程持有或需要的锁定模式的名称。
lorgranted显示是授予锁（true）还是不授予锁（false）。
lorwaiting显示会话是否正在等待。

检查追加优化表

gp_toolkit模式包含一组诊断功能，可用于调查追加优化表的状态。

创建追加优化表（或面向列的追加优化表）时，将隐式创建另一个表，其中包含有关该表当前状态的元数据。 元数据包括诸如表的每个segment中的记录数之类的信息。

追加优化表可能包含不可见的行，这些行已被更新或删除， 但是保留在存储中，直到使用VACUUM压缩表为止。 使用辅助可见性映射表或visimap跟踪隐藏的行。

通过以下函数，您可以访问针对追加优化和面向列的表的元数据，并查看不可见的行。 其中一些函数具有两个版本：一个采用表的oid，而另一个采用表的名称。 后一种版本在函数名称后附加了“ _name”。

__gp_aovisimap_compaction_info(oid)

此函数显示追加优化表的压缩信息。 该信息适用于Greenplum数据库segment中存储表数据的磁盘上数据文件。 您可以使用该信息来确定将通过VACUUM操作对追加优化表进行压缩的数据文件。

Note: 在VACUUM操作从数据文件中删除该行之前，已删除或已更新的数据行将占据磁盘上的物理空间，即使它们已被新事务隐藏。 配置参数gp_appendonly_compaction控制VACUUM命令的功能。

下表描述了__gp_aovisimap_compaction_info函数输出表。

列描述
contentGreenplum数据库segment ID。
datafilesegment上数据文件的ID。
compaction_possible该值为t或f。 值t表示执行VACUUM操作时压缩数据文件中的数据。服务器配置参数gp_appendonly_compaction_threshold会影响此值。
hidden_tupcount在数据文件中，隐藏（删除或更新）的行数。
total_tupcount在数据文件中，总行数。
percent_hidden在数据文件中，隐藏（已删除或更新）行与总行的比率（百分比）。

__gp_aoseg_name(‘table_name’)

此函数返回追加优化表的磁盘段文件中包含的元数据信息。

列描述
segno文件段号。
eof该文件段的文件有效结尾。
tupcount段中的元组总数，包括不可见的元组。
varblockcount文件段中的varblocks总数。
eof_uncompressed文件末尾（如果文件段未压缩）。
modcount数据修改操作的数量。
state文件段的状态。 指示段是活动的还是压缩后可以删除的。

__gp_aoseg_history(oid)

此函数返回追加优化表的磁盘段文件中包含的元数据信息。 它显示aoseg元信息的所有不同版本（堆元组）。 数据很复杂，但是对系统有深入了解的用户可能会发现它对于调试很有用。

输入参数是追加优化表的oid。

调用__gp_aoseg_history_name（’table_name’）可获得与表名参数相同的结果。

列描述
gp_tid元组的id。
gp_xmin最早事务的id。
gp_xmin_statusgp_xmin事务的状态。
gp_xmin_commitgpxmin事务的提交分布式id。
gp_xmax最晚的事务id。
gp_xmax_status最晚的事务的状态。
gp_xmax_commitgp_xmax事务的提交分布式id。
gp_command_id查询命令的id。
gp_infomask包含状态信息的位图。
gp_update_tid更新的元组的ID（如果该行已更新）。
gp_visibility元组可见性状态。
segno段文件中的段号。
tupcount元组数量，包括隐藏元组。
eof段的文件的有效结尾。
eof_uncompressed该段的文件末尾，如果数据未压缩。
modcount数据修改计数。
state段的状态。

__gp_aocsseg(oid)

此函数返回包含在面向列的追加优化表的磁盘段文件中的元数据信息，不包括不可见的行。 每行描述表中一列的段。

输入参数是面向列的追加优化表的oid。 以表名作为参数调用__gp_aocsseg_name（’table_name’）获得相同的结果。

列描述
gp_tid表的ID。
segno段号。
column_num列号。
physical_segno段文件中段的编号。
tupcount段中的行数，不包括隐藏的元组。
eof段的文件的有效结尾。
eof_uncompressed该段文件的末尾（如果数据未压缩）。
modcount段的数据修改操作计数。
state段的状态。

__gp_aocsseg_history(oid)

此函数返回包含在面向列的追加优化表的磁盘段文件中的元数据信息。 每行描述表中一列的段。 数据很复杂，但是对系统有深入了解的用户可能会发现它对于调试很有用。

输入参数是面向列的追加优化表的oid。 以表名称作为参数调用__gp_aocsseg_history_name（’table_name’）获得相同的结果。

列描述
gp_tid元组的oid。
gp_xmin最早的事务。
gp_xmin_statusgp_xmin事务的状态。
gp_xmingpxmin的文本表示形式。
gp_xmax最近的事务。
gp_xmax_statusgp_xmax事务的状态。
gp_xmaxgp_max的文本表示形式。
gp_command_id在元组上运行的命令的ID。
gp_infomask包含状态信息的位图。
gp_update_tid新的元组的ID（如果该行已更新）。
gp_visibility元组可见性状态。
segno段文件中的段号。
column_num列号。
physical_segno包含列数据的段。
tupcount段中的元组总数。
eof段的文件的有效结尾。
eof_uncompressed该段文件的末尾（如果数据未压缩）。
modcount数据修改操作的计数。
state段的状态。

__gp_aovisimap(oid)

此函数根据可见性映射返回元组id，段文件和每个不可见元组的行号。

输入参数是追加优化表的oid。

使用__gp_aovisimap_name（’table_name’）获得与表名作为参数相同的结果。

列描述
tid元组ID。
segno段文件的编号。
row_num已删除或更新的行的行号。

__gp_aovisimap_hidden_info(oid)

此函数返回段文件中针对追加优化表的隐藏和可见元组数。

输入参数是追加优化表的oid。

调用__gp_aovisimap_hidden_info_name（’table_name’）可获得与表名参数相同的结果。

列描述
segno段文件的编号。
hidden_tupcount段文件中隐藏元组的数量。
total_tupcount段文件中的元组总数。

__gp_aovisimap_entry(oid)

此函数返回有关表的每个可见性映射条目的信息。

输入参数是追加优化表的oid。

调用__gp_aovisimap_entry_name（’table_name’）可获得与表名参数相同的结果。

列描述
segno可见性映射条目的段号。
first_row_num条目的第一行号。
hidden_tupcount条目中的隐藏元组数。
bitmap可见性位图的文本表示。

查看Greenplum数据库服务器日志文件

Greenplum数据库系统的每个组件（master，standby，primary和mirror）均保留其自己的服务器日志文件。 使用gplog*系列视图，您可以对服务器日志文件执行SQL查询，以找到感兴趣的特定条目。 这些视图的使用需要超级用户权限。

查询会报错，可以使用视图gpmetrics.gpcc_pg_log_history只记录日志级别为FATAL、ERROR和WARNING的日志。

视图gpmetrics.gp_log_master_ext有记录LOG级别的日志，但是时间比较短。

参考：https://www.dbaup.com/greenplumshujukurichangweihu.html

gp_log_command_timings

该视图使用外部表来读取主数据库上的日志文件，并报告在数据库会话中执行的SQL命令的执行时间。 使用此视图需要超级用户权限。

列描述
logsession会话标识符（以”con”为前缀）。
logcmdcount会话中的命令号（以”cmd”为前缀）。
logdatabase数据库的名称。
loguser数据库用户的名称。
logpid进程ID（前缀为”p”）。
logtimemin此命令的第一条日志消息的时间。
logtimemax该命令的最后一条日志消息的时间。
logduration语句从开始到结束时间的持续时间。

gp_log_database

该视图使用外部表读取整个Greenplum系统的服务器日志文件（master，primary和mirror）， 并列出与当前数据库关联的日志条目。 可以通过会话ID（logsession）和命令ID（logcmdcount）标识关联的日志条目。 使用此视图需要超级用户权限。

列描述
logtime日志消息的时间戳。
loguser数据库用户的名称。
logdatabase数据库的名称。
logpid关联的进程ID（前缀为”p”）。
logthread关联的线程数（以”th”为前缀）。
loghostsegment或master主机名。
logportsegment或master端口号。
logsessiontime会话连接打开时间。
logtransaction全局事务ID。
logsession会话标识符（以”con”为前缀）。
logcmdcount会话中的命令号（以”cmd”为前缀）。
logsegmentsegment内容标识符 （对于primary标识符，前缀为”seg”，对于mirror，前缀为”mir”。master服务器的内容ID始终为-1）。
logslice切片ID（正在执行的查询计划的一部分）。
logdistxact分布式事务ID。
loglocalxact本地事务ID。
logsubxact子事务ID。
logseverityLOG, ERROR, FATAL, PANIC, DEBUG1或DEBUG2。
logstate与日志消息关联的SQL状态代码。
logmessage日志或错误消息文本。
logdetail与错误消息关联的详细消息文本。
loghint与错误消息关联的提示消息文本。
logquery内部生成的查询文本。
logquerypos游标索引到内部生成的查询文本中。
logcontext生成此消息的上下文。
logdebug用于调试的带有详细信息的查询字符串。
logcursorpos查询字符串中的游标索引。
logfunction生成此消息的函数。
logfile生成此消息的日志文件。
logline日志文件中生成此消息的行。
logstack与该消息关联的堆栈跟踪的全文。

gp_log_master_concise

该视图使用外部表从master日志文件读取日志字段的子集。 使用此视图需要超级用户权限。

列描述
logtime日志消息的时间戳。
logdatabase数据库的名称。
logsession会话标识符（以”con”为前缀）。
logcmdcount会话中的命令号（以”cmd”为前缀）。
logmessage日志或错误消息文本。

gp_log_system

该视图使用一个外部表来读取整个Greenplum系统（master，segment和mirror）的服务器日志文件，并列出所有日志条目。 可以通过会话ID（logsession）和命令ID（logcmdcount）标识关联的日志条目。 使用此视图需要超级用户权限。

列描述
logtime日志消息的时间戳。
loguser数据库用户的名称。
logdatabase数据库的名称。
logpid关联的进程ID（前缀为”p”）。
logthread关联的线程数（以”th”为前缀）。
loghostsegment或master主机名。
logportsegment或master端口号。
logsessiontime会话连接打开时间。
logtransaction全局事务ID。
logsession会话标识符（以”con”为前缀）。
logcmdcount会话中的命令号（以”cmd”为前缀）。
logsegmentsegment内容标识符 （对于primary标识符，前缀为”seg”，对于mirror，前缀为”mir”。master服务器的内容ID始终为-1）。
logslice切片ID（正在执行的查询计划的一部分）。
logdistxact分布式事务ID。
loglocalxact本地事务ID。
logsubxact子事务ID。
logseverityLOG, ERROR, FATAL, PANIC, DEBUG1或DEBUG2。
logstate与日志消息关联的SQL状态代码。
logmessage日志或错误消息文本。
logdetail与错误消息关联的详细消息文本。
loghint与错误消息关联的提示消息文本。
logquery内部生成的查询文本。
logquerypos游标索引到内部生成的查询文本中。
logcontext生成此消息的上下文。
logdebug用于调试的带有详细信息的查询字符串。
logcursorpos查询字符串中的游标索引。
logfunction生成此消息的函数。
logfile生成此消息的日志文件。
logline日志文件中生成此消息的行。
logstack与该消息关联的堆栈跟踪的全文。

检查服务器配置文件

Greenplum数据库系统的每个组件（master，standby，primary和mirror）都有其自己的服务器配置文件（postgresql.conf）。 以下gp_toolkit对象可用于检查系统中所有primary的postgresql.conf文件的参数设置：

gp_param_setting(‘parameter_name’)

此函数采用服务器配置参数的名称，并返回master和每个活动segment的postgresql.conf值。 所有用户均可使用此函数。

列描述
paramsegmentsegment内容ID（仅显示活动segment）。 master内容ID始终为-1。
paramname参数名称。
paramvalue参数值。

示例：

gp_param_settings_seg_value_diffs

分类为本地参数的服务器配置参数（意味着每个segment都从其自己的postgresql.conf文件获取参数值）， 应在所有segment上进行相同的设置。 该视图显示的本地参数设置不一致。 不包括应该具有不同值的参数（例如port）。 所有用户均可访问此视图。

列描述
psdname参数的名称。
psdvalue参数的值。
psdcount具有此值的segment数。

检查失败的segments

gp_pgdatabase_invalid视图可用于检查宕机的segment。

gp_pgdatabase_invalid

此视图显示有关在系统目录中标记为宕机的segment的信息。 所有用户均可访问此视图。

列描述
pgdbidbidsegment的dbid。 每个segment都有唯一的dbid。
pgdbiisprimarysegment的角色是否是primary？（t或f）
pgdbicontent该segment的内容ID。 primary和mirror将具有相同的内容ID。
pgdbivalidsegment是否在线有效？（t或f）
pgdbidefinedprimary在系统初始化时，此segment是否分配为primary？（t或f）

检查资源组活动和状态（资源队列）

Note: 仅当基于资源组的资源管理处于活动状态时，本节中描述的资源组活动和状态视图才有效。

本人提供Oracle(OCP、OCM)、MySQL(OCP)、PostgreSQL(PGCA、PGCE、PGCM)等数据库的培训和考证业务，私聊QQ646634621或微信dbaup66，谢谢！
AiDBA后续精彩内容已被站长无情隐藏，请输入验证码解锁本文！
验证码：
获取验证码： 请先关注本站微信公众号，然后回复“验证码”，获取验证码。在微信里搜索“AiDBA”或者“dbaup6”或者微信扫描右侧二维码都可以关注本站微信公众号。

标签：

Avatar photo

小麦苗

学习或考证，均可联系麦老师，请加微信db_bao或QQ646634621

您可能还喜欢...

发表回复