负责模块相关配置参数
hdfs句柄缓存模块
| 参数名 | 说明 | 参数类型 | 默认值 | 参数值范围 |
|---|---|---|---|---|
| file_handle_cache_bucket_num | 文件句柄缓存使用的分桶数量,用于减少并发时的冲突. | int32 | 64 | [4, 256] |
| file_handle_cache_enable | 文件句柄缓存开关,设置是否使用文件句柄缓存. | bool | true | true/false |
| file_handle_cache_num | 文件句柄缓存最大可缓存的文件句柄的数量.file_handle_cache_enable为true时有效. | int32 | 100000 | [10000, 1000000] |
| file_handle_cache_swapout_timeout | 文件句柄缓存中未被使用的句柄最长可保留的时间. | int64 | 21600 | [1h, 1d] |
| 参数名 | 说明 | 参数类型 | 默认值 | 参数值范围 |
|---|---|---|---|---|
| num_file_handle_cache_partitions | 文件句柄缓存使用的分区数量（用于将句柄缓存拆成多个分区）. | uint64 | 16 | [1, uint64_max] |
| cache_file_handle | 文件句柄缓存开关,设置是否使用文件句柄缓存. | bool | true | true/false |
| max_cached_file_handles | 文文件句柄缓存最大可缓存的文件句柄的数量. | uint64 | 20000 | [0, uint64_max] |
| unused_file_handle_timeout_sec | 文件句柄缓存中未被使用的句柄最长可保留的时间(秒). | uint64 | 21600 | [0, uint64_max] |
LOB模块
| 参数名 | 说明 | 参数类型 | 默认值 | 参数值范围 |
|---|---|---|---|---|
| compaction_lob_file_valid_threshold | 每个lob数据文件中允许无效的lob个数占总lob个数的比例小于该比例. | double | 0.5 | (0, 1] |
| compaction_lob_tiny_file_num_threshold | compaction时,LOB微小文件必须进行compaction的数据阈值.微小文件的数量超过该值时,也必须进行compaction. | int32 | 50 | [1, 100] |
| compaction_lob_tiny_file_size_threshold | lob compaction的时候,LOB文件大小小于该临界值的文件认为是小文件. | int64 | 1073741824 | [128MB, 4GB] |
| lob_index_cache_num | LOB Writer中的索引Cache的数量.用于写入LOB数据. | int32 | 1024 | [128, 4096] |
| lob_insert_cache_size | 内部表加载时,用于拷贝LOB数据的缓存大小. | int32 | 1048576 | [1MB, 2GB) |
| max_lob_size | LOB类型支持最大数据长度. | int64 | 4294967296 | [16MB, 8GB] |
| lob_compression_type | LOB数据文件中的压缩类型.uncompressed: 表示不压缩;lz4: 表示lz4. | string | uncompressed | uncompresse,lz4 |
| 参数名 | 说明 | 参数类型 | 默认值 | 参数值范围 |
|---|---|---|---|---|
| lob_delete_factor | 每个lob数据文件中允许无效的lob个数占总lob个数的比例小于该比例. | double | 0.5 | (0, 1] |
| lob_compaction_small_files_cnt | LOB小文件的数量达到该临界值的时候，也需要进行compaction. | int32 | 50 | [1, 100] |
| lob_compaction_small_file_size | lob compaction的时候,LOB文件大小小于该临界值的文件认为是小文件. | int64 | 1073741824 | [128MB, 4GB] |
| lob_writer_cache_index_cnt | 每一个lob Writer缓存的lob索引的数量. | int32 | 1024 | [128, 4096] |
| lob_copy_data_length | local insert时候，拷贝数据需要的缓存长度. | int32 | 1048576 | [1MB, 2GB) |
| lob_max_data_size | lob类型支持最大数据长度为4G. | int64 | 4294967296 | [16MB, 8GB] |
| lob_compressionType | lob数据压缩方式，默认0：表示不压缩，1：表示lz4. | int32 | 0 | {0, 1} |
动态参数模块
| 参数名 | 说明 | 参数类型 | 默认值 | 参数值范围 |
|---|---|---|---|---|
| parameter_setting_sync_timeout | 动态参数设定的同步超时时间.如果超时,则不再等待其他节点的同步状态,可能导致其他节点使用的参数不是最新值. | int32 | 5 | [1, 100] |
| 参数名 | 说明 | 参数类型 | 默认值 | 参数值范围 |
|---|---|---|---|---|
| param_update_timeout | 参数修改指令单个节点超时时间，单位s. | int32 | 5 | [1, 100] |
数据缓存模块
| 参数名 | 说明 | 参数类型 | 默认值 | 参数值范围 |
|---|---|---|---|---|
| consistent_hashing_min_virtual_node_count | 数据缓存节点选择时一致性哈希的最小虚拟节点数. | int32 | 1000 | (0,5000) |
| local_data_cache_dir | 配置缓存数据的存储目录的绝对路径和每个目录的容量大小的字符串,不同路径使用英文逗号隔开,使用英文冒号分割路径和容量大小,例如: data/0,/data/1:1TB.代表缓存最大2TB,/data/0 和 /data/1分别最大1TB. 请注意,主机上每个CirroData进程必须有唯一的数据缓存目录.默认为空,代表禁用. | string | 空 | [4KB,4TB] |
| local_data_cache_enable | 是否为远程读开启数据缓存.若需要启用数据缓存,则同时需要配置local_data_cache_dir参数. | bool | false | true/false |
| local_data_cache_file_max_size | 缓存文件在停止追加数据前可以增加到的最大值,建议与配置的缓存存储目录空间大小保持一致. | string | 1099511627776 | [4KB,4TB] |
| local_data_cache_max_file_num | 允许打开的最大文件数,不能小于指定数据缓存目录的数量.若有两个存储目录,则每个存储目录下最大可打开文件数为n/2. | int32 | 1000 | [数据缓存存储目录个数,int32_max] |
| local_data_cache_write_thread_num | 每个数据缓存目录允许插入数据的并发线程数. | int32 | 1 | (0,int32_max] |
| local_data_cache_policy | 本地数据缓存策略.NO_CACHE: 不进行本地缓存 AUTO_CACHE: 自动选择节点进行缓存（最多选择两个） GLOBAL_CACHE: 所有节点都可以缓存 | string | auto_cache | no_cache,auto_cache,global_cache |
对象存储
| 参数名 | 说明 | 参数类型 | 默认值 | 参数值范围 |
|---|---|---|---|---|
| s3_block_size | S3存储使用的虚拟块大小, CSV并发扫描时使用. | int32 | 268435456(256MB) | (0, 231-1] |
| s3_multipart_chunk_size | S3分批上传的批次大小, S3上传较大数据文件支持分批上传, 小于单批次大小的文件直接上传. | int32 | 157286400(150MB) | [5242880, 231-1] |
hadoop s3a core-site.xml配置
| 参数名 | 说明 | 参数类型 | 默认值 | 参数值范围 |
|---|---|---|---|---|
| hadoop.tmp.dir | ||||
| fs.s3a.access.key | ||||
| fs.s3a.secret.key | ||||
| fs.s3a.endpoint | ||||
| fs.s3a.block.size | ||||
| fs.s3a.multipart.size | ||||
| fs.s3a.impl | ||||
| fs.s3a.connection.ssl.enabled | ||||
| fs.s3a.buffer.dir | ||||
| fs.s3a.fast.upload | ||||
| fs.s3a.multipart.threshold | ||||
| fs.s3a.fast.upload.buffer |