单计算节点模式部署 Cloudberry Database(引入自 v1.5.0 版本)
Cloudberry Database 与 PostgreSQL 并不完全兼容,部分功能和语法都是专有的。如果用户业务已经依赖 Cloudberry Database,想在单节点上使用 Cloudberry Database 特有的语法和功能,规避与 PostgreSQL 的兼容性问题,那么可以使用这种单计算节点的部署方式。
自 v1.5.0 起,Cloudberry Database 提供这一单计算节点的部署模式。该模式在 utility
gp_role 下运行,仅有一个 coordinator (QD) 和一个 coordinator standby 节点,没有 segment 节点和数据分布。用户可以直接连接到 coordinator 并执行查询,就像连接的是一个正常的多节点集群一样。注意,由于没有数据分布,一些 SQL 语句在单计算节点部署下没有效果,还有一些 SQL 语句不受支持。具体可见最后一节用户行为变更。
部署方法
第 1 步:部署前准备
使用 root 用户登录每台主机,按照以下章节的顺序,依次修改各节点主机的设置。
新增 gpadmin
管理用户
参考以下示例,创建用户组和用户名 gpadmin
,将用户组和用户名的标识号设为 520
, 创建并指定主目录 /home/gpadmin/
。
groupadd -g 520 gpadmin # _添加用户组 gpadmin_
useradd -g 520 -u 520 -m -d /home/gpadmin/ -s /bin/bash gpadmin # _添加用户名 gpadmin 并创建主目录。_
passwd gpadmin # _为 gpadmin 设置密码,执行后,按照提示输出密码。_
禁用 SELinux 和防火墙软件
执行 systemctl status firewalld
查看防火墙状态。如果防火墙处于开启状态,你需要关闭防火墙,即在 /etc/selinux/config
文件中将 SELINUX
参 数设为 disabled
。
SELINUX=disabled
你还可以使用以下命令禁用防火墙:
systemctl stop firewalld.service
systemctl disable firewalld.service
设置系统参数
编辑 /etc/sysctl.conf
配置文件,在配置文件中添加相关系统参数,并执行 sysctl -p
命令让配置文件生效。
以下配置参数仅供参考,请按实际需要进行设置。下文介绍了其中一些配置参数的详细信息以及推荐设置。
kernel.shmall = _PHYS_PAGES / 2
kernel.shmall = 197951838
kernel.shmmax = kernel.shmall * PAGE_SIZE
kernel.shmmax = 810810728448
kernel.shmmni = 4096
vm.overcommit_memory = 2
vm.overcommit_ratio = 95
net.ipv4.ip_local_port_range = 10000 65535
kernel.sem = 250 2048000 200 8192
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.ipv4.ipfrag_high_thresh = 41943040
net.ipv4.ipfrag_low_thresh = 31457280
net.ipv4.ipfrag_time = 60
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.swappiness = 10
vm.zone_reclaim_mode = 0
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 100
vm.dirty_background_ratio = 0
vm.dirty_ratio = 0
vm.dirty_background_bytes = 1610612736
vm.dirty_bytes = 4294967296
共享内存设置
在 /etc/sysctl.conf
配置文件中:
-
kernel.shmall
表示可用共享内存的总量,单位是页。kernel.shmmax
表示单个共享内存段的最大值,以字节为单位。你可以使用操作系统的
_PHYS_PAGES
和PAGE_SIZE
两个参数来定义这两个值:kernel.shmall = ( _PHYS_PAGES / 2)
kernel.shmmax = ( _PHYS_PAGES / 2) * PAGE_SIZE要获取这两个操作系统参数的值,你可以使用
getconf
,示例如下:$ echo $(expr $(getconf _PHYS_PAGES) / 2)
$ echo $(expr $(getconf _PHYS_PAGES) / 2 \$(getconf PAGE_SIZE)) -
vm.overcommit_memory
是一个 Linux 内核参数。使用该参数指定对内存过度使用的处理方式。可选值如下:0
: 探索式处理,即预估可用内存并拒绝占用内存过大的请求。1
: 允许过度使用。2
: 拒绝过度使用。
将
vm.overcommit_memory
设置为2
,即拒绝过度使用。 -
vm.overcommit_ratio
是一个内核参数,是应用进程占用 RAM 的百分比。在 CentOS 上默认值为50
。vm.overcommit_ratio
的计算公式如下:vm.overcommit_ratio = (RAM - 0.026 * gp_vmem) / RAM
其中 gp_vmem
的计算方法如下:
# 如果系统内存低于 256 GB, 使用如下公式计算:
gp_vmem = ((SWAP + RAM) – (7.5GB + 0.05 * RAM)) / 1.7
# 如果系统内存大于等于 256 GB, 使用如下公式计算:
gp_vmem = ((SWAP + RAM) – (7.5GB + 0.05 * RAM)) / 1.17
# 以上公式中,SWAP 是主机上的交换空间,以 GB 为单位。
# RAM 是主机上安装的内存大小,以 GB 为单位。
IP 分段设置
当 Cloudberry Database 内部连接使用 UDP 协议,网卡会控制 IP 数据包的分段和重组。如果 UDP 消息的大小大于网络最大传输单元 (MTU) 的大小,IP 层会对消息进行分段。
net.ipv4.ipfrag_high_thresh
:当 IP 分片的总大小超过该阈值时,内核将尝试对 IP 分片进行重组。如果分片超过了这个阈值,但全部片段在规定的时间内仍未到达,内核则不会重组这些分片。该阈值通常用于控制是否对较大的分片进行重组。默认值为4194304
字节(即 4 MB)。net.ipv4.ipfrag_low_thresh
:表示当 IP 分片的总大小低于该阈值时,内核将尽可能地等待更多分片到达,以便进行更大的重组。这个阈值的目的是尽量减少未完成的重组操作,以提高系统性能。默认值为3145728
字节(3 MB)。net.ipv4.ipfrag_time
是一个控制 IP 分片重组超时时间的内核参数,默认值是30
。
推荐将以上参数设为如下值:
net.ipv4.ipfrag_high_thresh = 41943040
net.ipv4.ipfrag_low_thresh = 31457280
net.ipv4.ipfrag_time = 60
系统内存
-
如果服务器内存超过 64 GB,建议在
/etc/sysctl.conf
配置文件中进行如下参数设置:vm.dirty_background_ratio = 0
vm.dirty_ratio = 0
vm.dirty_background_bytes = 1610612736 # 1.5GB
vm.dirty_bytes = 4294967296 # 4GB -
如果服务器内存低于 64 GB,则不需要设置
vm.dirty_background_bytes
和vm.dirty_bytes
,建议在/etc/sysctl.conf
配置文件中进行如下参数设置:vm.dirty_background_ratio = 3
vm.dirty_ratio = 10 -
为了应对系统出现内存压力时的紧急情况,建议在
/etc/sysctl.conf
配置文件中新增vm.min_free_kbytes
参数,用于控制系统保留的可用内存量。建议将vm.min_free_kbytes
设置为系统物理内存的 3%,命令如下:awk 'BEGIN {OFMT = "%.0f";} /MemTotal/ {print "vm.min_free_kbytes =", $2 * .03;}' /proc/meminfo /etc/sysctl.conf
-
vm.min_free_kbytes
的设置不建议超过系统物理内存的 5%。
资源限制设置
编辑 /etc/security/limits.conf
文件并添加如下内容,这将对软硬件资源用量进行限制。
*soft nofile 524288
*hard nofile 524288
*soft nproc 131072
*hard nproc 131072
核心转储(CORE DUMP)设置
-
添加以下参数至
/etc/sysctl.conf
配置文件:kernel.core_pattern=/var/core/core.%h.%t
-
执行以下命令使配置生效:
sysctl -p
-
添加以下参数至
/etc/security/limits.conf
:soft core unlimited
为 XFS 文件系统设置挂载选项
XFS 是 Cloudberry Database 数据目录的文件系统,XFS 使用以下选项进行挂载:
rw,nodev,noatime,inode64
你可以在 /etc/fstab
文件中设置 XFS 文件挂载,参考如下命令。你需要根据实际情况选择文件路径:
mkdir -p /data0/
mkfs.xfs -f /dev/vdc
echo "/dev/vdc /data0 xfs rw,nodev,noatime,nobarrier,inode64 0 0" /etc/fstab
mount /data0
chown -R gpadmin:gpadmin /data0/
执行以下命令查看挂载是否成功:
df -h
预读值设置
每个磁盘设备文件的预读 (blockdev) 值应该是 16384
。要验证磁盘设备的预读取值,你可以使用以下命令:
sudo /sbin/blockdev --getra <devname>
例如,验证本文示例服务器硬盘的文件预读值:
sudo /sbin/blockdev --getra /dev/vdc
要修改设备文件的预读值,你可以使用以下命令:
sudo /sbin/blockdev --setra <bytes> <devname>
例如,修改本文档服务器硬盘的文件预读值:
sudo /sbin/blockdev --setra 16384 /dev/vdc
磁盘的 I/O 调度策略设置
Cloudberry Database 的磁盘类型、操作系统以及调度策略如下:
存储设备类型 | OS | 推荐的调度策略 |
---|---|---|
NVMe | RHEL 7 | none |
RHEL 8 | none | |
Ubuntu | none | |
SSD | RHEL 7 | noop |
RHEL 8 | none | |
Ubuntu | none | |
其他 | RHEL 7 | deadline |
RHEL 8 | mq-deadline | |
Ubuntu | mq-deadline |
参考以下命令修改调度策略。注意,该命令仅为临时修改,服务器重启后,修改将失效。
echo schedulername /sys/block/<devname/queue/scheduler
例如,临时修改本文档服务器磁盘 I/O 调度策略:
echo deadline /sys/block/vdc/queue/scheduler
若要永久修改调度策略,你可以使用系统实用程序 grubby。通过 grubby 修改后,重启服务器后立即生效,示例命令如下所示:
grubby --update-kernel=ALL --args="elevator=deadline"
可以通过如下命令查看内核参数设置:
grubby --info=ALL
禁用透明大页面 (THP)
你需要禁用透明大页面 (THP),因为它会降低 Cloudberry Database 的性能。禁用的命令如下所示:
grubby --update-kernel=ALL --args="transparent_hugepage=never"
通过如下命令查看 THP 的状态:
cat /sys/kernel/mm/*transparent_hugepage/enabled