Greenplum集群安装配置及最佳实践
目录
1.3.3 Group + Spread Mirroring 部署方案 4
1 总体介绍
1.1 硬件平衡
1、性能
2、容量
3、成本
1.2 高可用
1、节点
2、网络
3、磁盘
1.3 部署方案
1、Master与Standby Master分级部署
2、Primary Segment与Mirror Segment 分机部署
3、Segment Mirroring 部署方案
3.1、Group Mirroring
3.2、Spread Mirroring
3.3、Group + Spread Mirroring
4、Pivotal Supported Greenplum 必须部署Mirroring Segment
5、铜一主机Segment个数
5.1 CPU/Core 数据
5.2 查询并发数
5.3 查询复杂度
5.3 单机Primary Segment 总数不能过多
1.3.1 Group Mirroring 部署方案
按照以下4台机器Group Mirroring的部署方案总结
缺点: 一台机器down掉后,会把流量全部放在下一个节点,下一个节点的流量会变成2倍的流量
优点: down掉一台机器后,集群能正常的提供服务,如果再down掉第二台集群就不可用
1.3.2 Spread Mirroring 部署方案
按照以下4台机器Spread Mirroring的部署方案总结
缺点: 一台机器down掉后,会把流量全部放在下两个节点
优点: down掉一台机器后,集群能正常的提供服务,如果再down掉第二台集群就不可用
1.3.3 Group + Spread Mirroring 部署方案
如果集群比较大建议使用Group + Spread Mirroring部署方案,如果集群由down流量会分流道其他的机器上,集群不可用的几率比较小。
2 硬件选型
2.1 Master 节点
2.1.1 网卡
1、2块万兆网卡内部互联
2、1-2块千兆网卡带外管理及接入客户网络
2.1.2 内存
DDR4 64GB以上,建议256G
2.1.3 磁盘
1、6块600G/900G 10k RPM SAS盘
2、采用RAID5或RAID10
3、单独预留hotspare 盘
4、1块RAID卡,cache 1GB以上,带有掉电保护功能
2.1.4 CPU
1、2路8核及以上
2、主频2.5G HZ以上
2.2 Segment 节点
2.2.1 网卡
1、2块万兆网卡内部互联
2、1-2块千兆网卡带外管理及接入客户网络
2.2.2 内存
DDR4 64GB以上,建议256G
2.2.3 磁盘
1、24块600G/900G 10k RPM SAS盘
2、采用RAID5或RAID10
3、单独预留hotspare 盘
4、1-2块RAID卡,cache 1GB以上,带有掉电保护功能
2.2.4 CPU
1、2路8核及以上
2、主频2.5G HZ以上
2.3节点配置实例
2.4硬件配置经验总结
1、磁盘故障时Greenplum集群最常见的故障
1.1分析性查询: SAS盘 > SATA盘
1.2高并发小IO查询: 优先SSD或NVMe
2、RAID级别
2.1 RAID-5 VS RAID-10
3、RAID 卡一定带Cache功能,能提高磁盘的读写性能。
4、硬件监控
5、预留灾备机
RAID-5 VS RAID-10的区别:
RAID-5:在容量上会比较大,储存会达到90%的利用率,在读写的性能上比RAID10会好一点,RAID5的可靠性会差很多。
RAID-10:冗余级别更高,储存会达到50%的利用率,当有的盘出现坏的情况下,磁盘的可靠性有保证。
3 硬件配置
1主机配置实例
一下的配置两个CPU主机的例子,两个segment两个primary两个mirror以及两个网卡的例子
2 磁盘的配置
3 网络配置
4 交换机配置
以下配置是两个交换机,配置的流量是均衡的。
4 储存规划
4.1 磁盘可用空间
4.2 用户数据容量
4.3 系统数据容量
5 集群的配置
5.1 最低系统要求
以下是系统的最低的配置
5.2 系统设置
5.3 操作系统参数设置
5.4 I/O设置
5.5 其他设置
6 集群安装
6.1 安装方式
6.2 数据库目录
7 集群验证
7.1 硬件性能验证
7.2 集群初始化
7.3 配置文件
7.4 数据目录
7.5 pg_hba.conf 配置文件
7.6 安装完后的环境变量
8 可选组件安装
8.1 安装外部支持的语言
8.2 使用gppkg 命令安装
8.2 故障诊断
来源:CSDN
作者:小徐xfg
链接:https://blog.csdn.net/xfg0218/article/details/104564289