同步MySQL数据到Doris

发表于 分类于 Valine： 本文字数： 263 阅读时长 ≈ 1 分钟
使用jdbc,通过创建CATALOG加载MySQL数据到Doris

下载驱动程序

1
2
wget https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-j-8.2.0.tar.gz .
tar xvfz mysql-connector-j-8.2.0.tar.gz

也可以去MySQL官网下载其他版本Connector/J
建议选择Platform Independent的压缩包，解压即可使用

be和fe配置jdbc驱动目录

1
jdbc_drivers_dir = /root/doris/mysql-connector-j-8.2.0

从MySQL导入数据到Doris示例

  1. 创建目标表
1
2
3
4
5
6
CREATE TABLE example_tbl (
    id INT COMMENT "id",
		name VARCHAR(20)  COMMENT "name"
)
DISTRIBUTED BY HASH(id) BUCKETS 10
PROPERTIES("replication_num" = "1");
  1. 创建 MySQL CATALOG
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
-- CREATE CATALOG jdbc_mysql PROPERTIES (
--     "type"="jdbc",
--     "user"="root",
--     "password"="123456",
--     "jdbc_url" = "jdbc:mysql://172.16.48.9:4486/demo",
--     "driver_url" = "mysql-connector-j-8.2.0.jar",
--     "driver_class" = "com.mysql.jdbc.Driver"
-- )

CREATE CATALOG jdbc_mysql PROPERTIES (
    "type"="jdbc",
    "user"="root",
    "jdbc_url" = "jdbc:mysql://172.16.48.9:4486",  -- 可以不指定具体数据库
    "driver_url" = "mysql-connector-j-8.2.0.jar",
    "driver_class" = "com.mysql.jdbc.Driver"
);

  1. 查看 CATALOGS
1
SHOW CATALOGS;

  1. 插入数据
1
2
3
4
5
-- INSERT INTO <doris_Catalog_Name>.<db_name>.<table_name> SELECT * FROM <mysql_Catalog_Name>.<db_name>.<table_name>;
INSERT INTO internal.demo.example_tbl SELECT * FROM jdbc_mysql.demo.t1;

-- 由于当前在 doris CATALOG 下,可以省略Catalog_Name与db_name
INSERT INTO example_tbl SELECT * FROM jdbc_mysql.demo.t1;

  1. 可以切换使用 MySQL 环境
1
2
3
4
switch jdbc_mysql;

-- 当前在MySQL CATALOG 下, 可以省略Catalog_Name与db_name
INSERT INTO internal.demo.example_tbl SELECT * FROM t1;