动态参数

发表于 2022-07-19 更新于 2023-10-14 分类于 CirroData Valine：本文字数： 1.6k 阅读时长 ≈ 6 分钟

CirroData 动态参数功能

配置参数

3.0
3.0之前的版本

参数名	说明	参数类型	默认值	参数值范围
parameter_setting_sync_timeout	动态参数设定的同步超时时间.如果超时,则不再等待其他节点的同步状态,可能导致其他节点使用的参数不是最新值.	int32	5	[1, 100]

参数名	说明	参数类型	默认值	参数值范围
param_update_timeout	参数修改指令单个节点超时时间，单位s.	int32	5	[1, 100]

该配置参数的作用

节点同步修改超时时间,若超时节点同步失败
sql下发节点,每次获取节点同步回报信息失败后等待0.5秒后重试,若一直获取失败，则总重试等待时间为 节点数 × parameter_setting_sync_timeout

警告

节点数 × parameter_setting_sync_timeout ≠ 总同步超时时间
总同步超时时间 = 节点数 × parameter_setting_sync_timeout / 0.5 * 获取节点同步回报信息耗时 + 节点数 × parameter_setting_sync_timeout

DB级别参数
PC级别参数

参数名	说明	参数类型	默认值	取值范围
page_compress_algorithm	页数据压缩算法	string	SNAPPY	{SNAPPY,LZ4,ZSTD}
cirrofile_max_size	单个cirrofile文件的大小上限	int64	1GB	[256MB, 4GB]
cirrofile_max_row	单个cirrofile文件的最大行数	int64	10485760	[10000000, 100000000]
dictionary_page_num	字典编码中，字典的页数量字典达到记录数和大小中任何一个条件后，不能继续新增字典记录。	int32	4	[1, 4]
cirrofile_reserve_rate	cirrofile文件的预留空间比例，以防止实际产生的cirrofile文件超过设定的大小。	double	0.1	[0.01, 0.2]
page_compress_optimize_enable	是否启用页压缩优化。启用后，数据文件将无法兼容标准parquet格式。	bool	false	true/false
page_compress_optimize_threshold_ratio	页压缩优化的数据压缩率阈值。如果启用页压缩优化，则数据压缩率超过该百分比，才进行页数据压缩存储。该参数只对新增数据有效。该参数只在页压缩优化启用时有效。启用后，数据无法兼容标准parquet格式。	double	0.6	(0, 1]
dictionary_item_num	字典编码中，字典的记录数量。字典达到记录数和大小中任何一个条件后，不能继续新增字典记录。	int32	65535	[32768, 65535]
plain_encoding_rule	指定不适用编码的数据类型，多个类型之间用逗号’,'分隔。主要用于数据加载时的编码过程控制。	string
page_rownum_index_enable	是否在加载数据时，创建page-row索引。	bool	true	true/false
page_maxmin_index_enable	是否在加载数据时，创建page内部极值索引。	bool	true	true/false

参数名	说明	参数类型	默认值	取值范围
dml_write_buffer_mdp_num	表更新、有序表加载时，用于数据写入的缓存MDP数量。	int32	3	[1, 5]
default_timestamp_format	timestamp的默认格式。csv加载和cast时会按照此参数将字符串类型与timestamp类型进行转换。可根据需要调整分隔符与年月日时分秒的位置。	string	yyyy-mm-dd hh24:mi:ss.ff
default_date_format	Date类型默认格式,csv加载和cast时会按照此参数将字符串类型与date类型进行转换。可根据需要调整分隔符与年月日时分秒的位置。	string	yyyy/mm/dd hh24:mi:ss
compaction_group_num	Compaction任务中，分组的数量。需要整并的数据文件不小于该值时，整并结果的数据文件数量不少于该值。	int32	1	[1, 16]
compaction_max_file_size	Compaction任务中，判定为不需要整并的数据文件的大小阈值。比阈值小的文件，都需要进行整并。	int64	849346560	[100MB, 1GB]
local_data_cache_policy	本地数据缓存缓存策略. NO_CACHE: 不进行本地缓存; AUTO_CACHE: 自动选择节点进行缓存（最多选择两个）; GLOBAL_CACHE: 所有节点都可以缓存.	string	AUTO_CACHE	NO_CACHE, AUTO_CACHE, GLOBAL_CACHE

DB级别参数
PC级别参数

参数名	说明	参数类型	默认值	参数值范围
page_compress_type	Page数据压缩算法: 1-SNAPPY, 2-LZ4;如果使用非SNAPPY算法，会影响与标准parquet格式的兼容	int32	1	{1,2}
datapack_maxsize	单个DataPack文件大小上限，单位Byte	int64	1073741824	[2²³, 2⁶³-1]
datapack_maxrownum	单个DataPack文件数据行数上限	int64	10485760	[1, 2⁶³-1]
dictpage_num	ColumnChunk中字典页的缓存页数	int32	4	[1, 4]
filesize_reserverate	[Percentage]DP文件中实际使用空间百分比，取值范围80~99	int32	90	[80, 99]
no_page_compress_optimize	是否禁止Page压缩优化; 如果不禁止，会影响与标准parquet格式的兼容	bool	true	true/false
compress_validrate	[Percentage]DP文件数据压缩百分比阈值，取值范围1~100，压缩后与压缩前大小比例超过该值才进行压缩	int32	60	[1, 100]
dictcardinality	字典编码中，字典条目上限	int32	65535	(0, 2³¹-1]
plain_encoding_rule	默认Plain编码规则，多个类型用’，'分隔. 具体参考Release Note	string
page_rownum_index	是否在加载数据时，创建page-row索引	bool	true	true/false
page_max_min_index	是否在加载数据时，创建page内部极值索引	bool	true	true/false

参数名	说明	参数类型	默认值	参数值范围
write_buffer_num	异步加载线程使用的缓存块数	int32	3	[1, 5]
cast_timestamp_format	Timestamp类型默认格式，小数精度为9	string	yyyy-mm-dd hh24:mi:ss.ff
cast_date_format	Date类型默认格式,csv加载和cast时会按照此参数将字符串类型与date类型进行转换。可根据需要调整分隔符与年月日时分秒的位置。	string	yyyy/mm/dd hh24:mi:ss
compact_group_num	整并分组数	int32	1	[1, 64]
compact_filesize_threshold	不参加整并的文件大小下限，单位BYTE	int64	849346560	[0, 2⁶³-1]

参数值生效优先级

PC 级别参数 > DB 级别参数 > 集群级别参数（ds.xml）

系统表

V$CLUSTER_PARAMETERS_INFO
V$DB_PARAMETERS_INFO

systemadmin 用户查询

1	select * from V$CLUSTER_PARAMETERS_INFO;

system 用户查询

1	select * from V$DB_PARAMETERS_INFO;

修改动态参数SQL

设置 DB 级别参数
设置 PC 级别参数

systemadmin用户执行

1	ALTER DATABASE db_name SET PARAMETER parameter_name = 'parameter_value';

system用户执行

1	ALTER SYSTEM PARAM SET parameter_name = 'parameter_value';

system用户执行

1	ALTER PC PARAM SET pc_name.parameter_name = 'parameter_value';

修改信息存放路径

参数修改信息存放在zookeeper上

dp级参数存放路径

1	/xcloud_name/cluster_name/XCLOUD/PUCONTROLLER/PARAMETERLIST/db_id/SYSPFILE

pc级参数存放路径

1	/xcloud_name/cluster_name/XCLOUD/PUCONTROLLER/DB_LIST/db_id/PC_LIST/pc_name/PARAMETERLIST/PCPFILE