RegistrationCenter
配置文件 conf/configuration-cea.xml (好像是cea使用的配置文件)
通过编译命令打包生成RegistrationCenter,需要手动在conf添加配置文件zoo.cfg,可复制conf目录下的zoo_sample.cfg文件
1
| cp zoo_sample.cfg zoo.cfg
|
配置参数
| 参数名 |
说明 |
| dataDir |
数据目录，用于存放zookeeper的数据 |
| clientPort |
监听客户端连接的端口 |
启动命令
HDFS元数据代理
配置参数
| 参数名 |
说明 |
示例 |
| xcloud_helper_rpc_port |
xcloud与helper通信的RPC端口 |
19091 |
| cea_detection_udp_port (新版中该参数已删除) |
与xcloud_helper_rpc_port保持一致即可 |
19091 |
| cirrofs_user |
CirroFS集群管理员账号，与CirroEngine的cirrofs_user一致 |
hdfs 或 hadoop 公共环境为cirrofs |
| root_name |
与CirroeEngine的root_name保持一致 |
xcloud |
| cluster_name 旧版名称为engine_cluster_name |
与CirroeEngine的cluster_name保持一致 |
xcloud_3.0 |
| registrationcenter_server |
zookeeper ip:port 与CirroeEngine的registrationcenter_server保持一致 |
172.16.44.37:12345 |
公共环境下额外配置
| 参数名 |
说明 |
示例 |
| kerberos_user_principal |
Kerberos标识 |
cirrofs/_HOST@BONC4.COM |
| kerberos_keytab_file |
/home/cirrofs/cirrofs_cfs/key/cirrofs.keytab |
|
非必要配置,若启动失败可配置排查原因
| 参数名 |
说明 |
示例 |
| cirrodata_java_home |
用户指定的JAVA_HOME环境变量，与CirroEngine的JAVA_HOME一致,要求jdk版本不低于1.8 |
/usr/local/jdk |
| cirrodata_hadoop_home |
用户指定的HADOOP_HOME环境变量，与CirroEngine的HADOOP_HOME一致 |
/opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hadoop |
启动命令
若启动失败，可开启日志，在logs目录中查看日志
1
| python daemon.py start true
|
CirroEngine行云计算引擎
公共配置
| 参数名 |
说明 |
示例 |
| cluster_name |
集群名，需要与hdfs元数据配置的保持一致 |
gyf_xcloud_2.15_number |
| registrationcenter_server |
zookeeper安装的节点ip与端口号 |
172.16.44.42:6361 |
| root_name |
CirroFS根目录 |
xcloud_gyf |
| client_arbiter_address_list |
ARBITER的地址信息 |
xcloud37:5350,xcloud38:5350,xcloud39:5350 |
| cirrofs_user |
访问CirroFS的账号,在同时指定cirrofs_user和principal和keytab的情况下，cirrofs_user会被忽略 |
hdfs 或 hadoop 公共环境为cirrofs |
进程组配置
| 参数名 |
说明 |
| grm_inter_port |
grm rpc监听端口 |
| internal_port |
内部通信端口 |
| domain_port |
跨域通信的端口 |
| service_port |
对外服务端口.外部通过该端口访问数据库. |
| metric_port |
指标采集服务export端口 |
| brpc_server_port |
|
存储过程
| 参数名 |
说明 |
| store_procedure_server_list |
存储过程引擎的服务地址，用于计算UDF以及UDF等的创建; ip:port |
公共环境下额外配置
| 参数名 |
说明 |
示例 |
| kerb_principal |
Kerberos标识 |
cirrofs/_HOST@BONC4.COM |
| kerb_keytab_file |
Kerberos认证文件路径 |
/home/cirrofs/cirrofs_cfs/key/cirrofs.keytab |
非必要配置,若启动崩溃可配置排查原因
| 参数名 |
说明 |
示例 |
| cirrodata_java_home |
用户指定的java home路径,要求版本不低于1.8 |
/usr/local/jdk |
| cirrodata_hadoop_home |
用户指定的hadoop home路径 |
/opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hadoop |
| brpc_dsink_enable |
|
false |
CirroKV
使用kv组件部署脚本部署kv
部署kv前先检查ntp服务是否正常,若不正常需更换节点，否则carrier会启动失败
执行以下命令查询ntp服务是否正常
结果显示有2个OK即npt正常,若有ERROR建议更换节点搭建kv
或
建议
一个集群使用的zookeeper仅连接该集群对应的HDFS元数据代理
启动崩溃
- 检查client_arbiter_address_list是否配置错误
- HDFS元数据代理与zookeeper是否启动
- 更新kv，重新启动kv引擎
- 检查配置是cluster_name是否配置正确
zookeeper
| 参数名 |
说明 |
示例 |
| dataDir |
zookeeper日志等文件存放位置 |
/data1/dlc_group/gaoyuanfeng/2.15_number/zookeeper |
| clientPort |
zookeeper连接端口号 |
6361 |
HDFS元数据代理
| 参数名 |
说明 |
示例 |
| clusterName |
集群名 |
gyf_xcloud_2.15_number |
| zkUrl |
zookeeper连接地址ip + 端口号, 要zookeeper配置一致 |
172.16.44.42:6361 |
| hdfsMetaQueryPort |
连接端口号 |
16361 |
| xcloudName |
集群根目录 |
xcloud_gyf |
行云计算引擎
公共配置
| 参数名 |
说明 |
示例 |
| hdfs_meta_query_proxy_port |
hdfs元数据代理配置的端口号 |
16361 |
| cluster_name |
集群名，需要与hdfs元数据配置的保持一致 |
gyf_xcloud_2.15_number |
| hdfs_meta_query_proxy_host |
hdfs元数据代理安装的节点ip |
172.16.44.42 |
| zk_server |
zookeeper安装的节点ip与端口号 |
172.16.44.42:6361 |
| xcloud_root_name |
行云hdfs根目录 |
xcloud_gyf |
进程组配置
| 参数名 |
说明 |
| webserve_port |
webserver对外提供服务的端口 |
| inter_port |
内部端口号 |
| domain_port |
domain port |
| session_port |
外部端口号，SqlDeveloper连接的端口号 |
| udf_port |
自定义函数端口号 |
SqlDeveloper连接
端口即配置参数service_port(3.0)或webserve_port(旧版)
集群管理员连接用户名: systemadmin, 密码: 123456
数据库用户连接用户名: system, 密码: 123456
所有连接信息存储文件位置
C:\Users\CirroData\xcloud\DBConfig.xml
简要SQL
创建数据库
systemadmin用户执行
1
2
| CREATE DATABASE db_0;
alter user systemadmin identified by '123456_';
|
创建普通用户
system用户执行
1
2
3
| CREATE USER user_0 IDENTIFIED BY '123456_';
GRANT CREATE DATABASE LINK TO user_0;
GRANT ALL ON user_0.* to user_0;
|
高版本需要额外执行建表赋权
system用户执行
1
| GRANT CREATE TABLE, CREATE VIEW TO user_0;
|
2.16 cgroup赋权
sudo ./init-xcloud-cg.sh [user_name]:[user_name]