原 GreenPlum 6.27.0版本新特性及pg_cron模块配置定时任务说明

发布日期 2024年4月8日 · 已更新 2024年10月11日

0 309 1

Tags：原创 GreenPlum 定时任务 pg_cron

👉 本文共约2116个字，系统预计阅读时间或需8分钟。

简介
6.27.0测试环境
pg_cron模块使用说明
安装pg_cron
升级pg_cron
使用pg_cron
配置pg_cron
pg_cron调用shell脚本
总结
参考

简介

GreenPlum 6.27.0于2024-04-05已发布，GreenPlum的发布历史请参考：https://www.dbaup.com/greenplumbanbenfabulishi.html

GreenPlum 6.27.0 有以下几个新特性：

Greenplum Database 6.27.0 includes these new and changed features:

The gpfdist parallel file distribution utility now supports multi-threaded data compression and transmission.
The PgBouncer distributed with Greenplum Database has been updated to version 1.21.0.
The gpcheckcat utility now includes a new test -- mix_distribution_policy -- which checks for tables created with legacy and non-legacy hash operations.
This release updates the plcontainer version to 2.4.0 and the python3 image version to 2.4.0. Previous image releases cannot be used with the 2.4.0+ plcontainer.
The pg_config utility option --version now displays the version of the PostgreSQL backend server, and the new option --gp_version prints the version of Greenplum.
VMware Greenplum 6.27.0 introduces the pg_cron module, which provides a cron-based job scheduler that runs inside the database.
VMware Greenplum 6.27.0 supports Run-length encoding (RLE) compression with the Zstandard algorith, or zstd for column-oriented tables.
The log_checkpoints server configuration parameter is now set to on by default.
The gpsupport gp_log_collector tool now supports gathering logs for VMware Greenplum Disaster Recovery, via the new -with-gpdr-primary and -with-gpdr-recovery options.
The ip4r module distributed with VMware Greenplum has been updated to version 2.4.2.
With the 6.27.0 release, VMware Greenplum now supports the VMware Greenplum Virtual Appliance. The virtual machine appliance contains everything you may need for an easy deploying of VMware Greenplum on vSphere. See VMware Greenplum on vSphere for more details.
VMware Greenplum 6.27.0 enhances WAL archive recovery by preventing scanning of nonexistent WAL segment files.
You may now pass the -i and --differential in the same gprecoverseg command.

其中，最令我关注的还是pg_cron模块，这个模块可以配置定时任务，接下来着重介绍该特性。

6.27.0测试环境


docker rm -f gpdb6270
docker run -itd --name gpdb6270 -h gpdb6270 \
  -p 5627:5432 -p 26270:28080  \
  -v /sys/fs/cgroup:/sys/fs/cgroup \
  --privileged=true lhrbest/greenplum:6.27.0 \
  /usr/sbin/init

docker exec -it gpdb6270 bash

su - gpadmin

gpstart -a
gpcc start

gpcc status
gpstate

docker rm -f gpdb6270

docker run -itd --name gpdb6270 -h gpdb6270 \

-p 5627:5432 -p 26270:28080 \

-v /sys/fs/cgroup:/sys/fs/cgroup \

--privileged=true lhrbest/greenplum:6.27.0 \

/usr/sbin/init

docker exec -it gpdb6270 bash

su - gpadmin

gpstart -a

gpcc start

gpcc status

gpstate

pg_cron模块使用说明

参考：

https://docs.vmware.com/en/VMware-Greenplum/6/greenplum-database/ref_guide-modules-pg_cron.html

https://github.com/citusdata/pg_cron

在启用pg_cron模块后，后台会有一个进程：

[gpadmin@gpdb6270 ~]$ ps -ef|grep cron | grep post
gpadmin    16678   16660  0 14:02 ?        00:00:00 postgres:  5432, bgworker: pg_cron launcher   
[gpadmin@gpdb6270 ~]$

[gpadmin@gpdb6270 ~]$ ps -ef|grep cron | grep post

gpadmin 16678 16660 0 14:02 ? 00:00:00 postgres: 5432, bgworker: pg_cron launcher

[gpadmin@gpdb6270 ~]$

pg_cron的时间配置：

 ┌───────────── min (0 - 59)
 │ ┌────────────── hour (0 - 23)
 │ │ ┌─────────────── day of month (1 - 31) or last day of the month ($)
 │ │ │ ┌──────────────── month (1 - 12)
 │ │ │ │ ┌───────────────── day of week (0 - 6) (0 to 6 are Sunday to
 │ │ │ │ │                  Saturday, or use names; 7 is also Sunday)
 │ │ │ │ │
 │ │ │ │ │
 * * * * *

┌───────────── min (0 - 59)

│ ┌────────────── hour (0 - 23)

│ │ ┌─────────────── day of month (1 - 31) or last day of the month ($)

│ │ │ ┌──────────────── month (1 - 12)

│ │ │ │ ┌───────────────── day of week (0 - 6) (0 to 6 are Sunday to

│ │ │ │ │ Saturday, or use names; 7 is also Sunday)

│ │ │ │ │

* * * * *

安装pg_cron

-- 1、默认在postgres数据库中，可以通过如下命令修改成其它数据库（可选）
gpconfig -c cron.database_name -v 'db_name' --skipvalidation

-- 2、修改shared_preload_libraries参数，注意该参数之前的值
gpconfig -s shared_preload_libraries

gpconfig -c shared_preload_libraries -v 'metrics_collector,pg_cron'
gpconfig -c cron.timezone -v PRC
gpconfig -c cron.max_running_jobs -v 100
gpstop -M fast -ar

gpconfig -s shared_preload_libraries
gpconfig -s cron.timezone
gpconfig -s cron.max_running_jobs

-- 3、只能在第1步中cron.database_name配置的数据库中创建扩展，否则会报错
CREATE EXTENSION pg_cron;
GRANT USAGE ON SCHEMA cron TO user1;

[root@mdw soft]#  find /usr/local/greenplum-db/ -name *pg_cron.so*
/usr/local/greenplum-db/lib/postgresql/pg_cron.so

-- 1、默认在postgres数据库中，可以通过如下命令修改成其它数据库（可选）

gpconfig -c cron.database_name -v 'db_name' --skipvalidation

-- 2、修改shared_preload_libraries参数，注意该参数之前的值

gpconfig -s shared_preload_libraries

gpconfig -c shared_preload_libraries -v 'metrics_collector,pg_cron'

gpconfig -c cron.timezone -v PRC

gpconfig -c cron.max_running_jobs -v 100

gpstop -M fast -ar

gpconfig -s shared_preload_libraries

gpconfig -s cron.timezone

gpconfig -s cron.max_running_jobs

-- 3、只能在第1步中cron.database_name配置的数据库中创建扩展，否则会报错

CREATE EXTENSION pg_cron;

GRANT USAGE ON SCHEMA cron TO user1;

[root@mdw soft]# find /usr/local/greenplum-db/ -name *pg_cron.so*

/usr/local/greenplum-db/lib/postgresql/pg_cron.so

报错：

ERROR:  can only create extension in database postgres
DETAIL:  Jobs must be scheduled from the database configured in cron.database_name, since the pg_cron background worker reads job descriptions from this database.
HINT:  Add cron.database_name = 'lhrgpdb' in postgresql.conf to use the current database.

ERROR: can only create extension in database postgres

DETAIL: Jobs must be scheduled from the database configured in cron.database_name, since the pg_cron background worker reads job descriptions from this database.

HINT: Add cron.database_name = 'lhrgpdb' in postgresql.conf to use the current database.

升级pg_cron

ALTER EXTENSION pg_cron UPDATE TO '1.6.2';

1	ALTER EXTENSION pg_cron UPDATE TO '1.6.2';

使用pg_cron


-- Delete old cron.job_run_details records of the current user every day at noon
SELECT  cron.schedule('delete-job-run-details', '0 12 * * *', $$DELETE FROM cron.job_run_details WHERE end_time < now() - interval '7 days'$$);

SELECT cron.schedule_in_database('weekly-vacuum', '0 4 * * 0', 'VACUUM', 'some_other_database');

-- 更改JOB
UPDATE cron.job SET database = 'database1' WHERE jobid = 106;
SELECT cron.reload_job();

-- 每2秒执行1次
SELECT  cron.schedule_in_database('run-select66', '2 seconds', $$SELECT 66$$,'db1');

-- 修改为10秒
UPDATE cron.job SET schedule = '10 seconds' WHERE jobid = 2;
-- 或： SELECT cron.alter_job(2,'20 seconds');
SELECT cron.reload_job();

-- 删除job
SELECT cron.unschedule(1);

-- 禁用或启用某个job
UPDATE cron.job SET active = 'f' WHERE jobid = 2;
SELECT cron.reload_job();

-- 查询
SELECT * from cron.job;
select * from cron.job_run_details order by runid desc limit 100;

-- Delete old cron.job_run_details records of the current user every day at noon

SELECT cron.schedule('delete-job-run-details', '0 12 * * *', $$DELETE FROM cron.job_run_details WHERE end_time < now() - interval '7 days'$$);

SELECT cron.schedule_in_database('weekly-vacuum', '0 4 * * 0', 'VACUUM', 'some_other_database');

-- 更改JOB

UPDATE cron.job SET database = 'database1' WHERE jobid = 106;

SELECT cron.reload_job();

-- 每2秒执行1次

SELECT cron.schedule_in_database('run-select66', '2 seconds', $$SELECT 66$$,'db1');

-- 修改为10秒

UPDATE cron.job SET schedule = '10 seconds' WHERE jobid = 2;

-- 或： SELECT cron.alter_job(2,'20 seconds');

SELECT cron.reload_job();

-- 删除job

SELECT cron.unschedule(1);

-- 禁用或启用某个job

UPDATE cron.job SET active = 'f' WHERE jobid = 2;

SELECT cron.reload_job();

-- 查询

SELECT * from cron.job;

select * from cron.job_run_details order by runid desc limit 100;

本人提供Oracle(OCP、OCM)、MySQL(OCP)、PostgreSQL(PGCA、PGCE、PGCM)等数据库的培训和考证业务，私聊QQ646634621或微信dbaup66，谢谢！

后续精彩内容已被站长无情隐藏，请输入验证码解锁本文！

获取验证码：请先关注本站微信公众号，然后回复“验证码”，获取验证码。在微信里搜索“AiDBA”或者“dbaup6”或者微信扫描右侧二维码都可以关注本站微信公众号。

打赏赞(1)

标签：原创 GreenPlum 定时任务 pg_cron

小麦苗

学习或考证，均可联系麦老师，请加微信db_bao或QQ646634621

发表回复取消回复

要发表评论，您必须先登录。

原 GreenPlum 6.27.0版本新特性及pg_cron模块配置定时任务说明

简介

6.27.0测试环境

pg_cron模块使用说明

安装pg_cron

升级pg_cron

使用pg_cron

相关文章

您可能还喜欢...

发表回复取消回复

网站公告

网站寄语

本站其它工具

搜索本网站

标签云☁

网站日历

网站归档

网站分类

2024 年 11 月
一	二	三	四	五	六	日
				1	2	3
4	5	6	7	8	9	10
11	12	13	14	15	16	17
18	19	20	21	22	23	24
25	26	27	28	29	30

原 GreenPlum 6.27.0版本新特性及pg_cron模块配置定时任务说明

简介

6.27.0测试环境

pg_cron模块使用说明

安装pg_cron

升级pg_cron

使用pg_cron

相关文章

您可能还喜欢...

MSSQL数据库连接工具之Azure Data Studio介绍

GreenPlum循环删除不需要的外部表

Greenplum的日常监控

发表回复 取消回复

网站公告

网站寄语

本站其它工具

搜索本网站

标签云☁

网站日历

网站归档

网站分类

发表回复取消回复