使用 Paimon Catalog
Download
聚焦模式
字号
介绍
您可以在 Oceanus SQL 作业中配置 Paimon Catalog、查看 Paimon 元数据、使用 Paimon Catalog。将元数据信息保存到 Paimon Metastore 以后，在作业中无需再显式声明 DDL 语句，直接三段式引用元数据即可。
版本说明
Flink 版本 | 说明 |
1.13 | 不支持 |
1.14 | 不支持 |
1.16 | 支持 |
1.18 | 支持 |
1.20 | 暂不支持 |
操作说明
创建 Paimon Catalog
切换到
_dc，单击新建 Paimon Catalog。
普通 COS 桶
COS 元数据加速桶
相比普通 COS 桶，需要填写具有相应 Warehouse 权限的用户名。
EMR
HDFS 路径的形式为
hdfs://${dfs.nameservices}/${path}，${dfs.nameservices} 的值可在 hdfs-site.xml 中查找，${path} 为要写入的数据目录。如果是多 Master 的 EMR 集群需要上传 hdfs-site.xml 可以用下面的命令将它打成 jar 包上传，不能直接上传配置文件。
jar -cvf emr-xxx.jar hdfs-site.xml
Hive
引用 Paimon Catalog
CREATE TABLE IF NOT EXISTS `116-paimon-sink1`.`default`.`sink1` (id INT PRIMARY KEY NOT ENFORCED, -- Paimon需要主键，id作为主键name STRING) WITH ();Insert into `116-paimon-sink1`.`default`.`sink1`Select * FROM `mysql-116`.`test927`.`test`;
Table Hints（可选）
通过 Hints 动态覆盖表的配置项，无需修改表定义即可临时调整参数。
示例：可设置 local-merge-buffer-size，在数据按桶分区之前对输入记录进行缓冲和合并。
-- Flink 1.13需要开启动态表选项（其他Flink版本不需要）SET 'table.dynamic-table-options.enabled' = 'true';Insert into `116-paimon-sink1`.`default`.`sink1` /*+ OPTIONS('local-merge-buffer-size' = '64mb') */Select * FROM `mysql-116`.`test927`.`test`;
说明：
若需要添加多个参数，使用逗号分隔： /*+ OPTIONS( 'local-merge-buffer-size' = '64mb', 'write-buffer-size' = '256mb' ) */
修改 Paimon Catalog
不能修改 Catalog 名字和 Metastore 类型。
删除 Paimon Catalog
可以单击该按钮进行删除。
注意
删除之后，关联该 Catalog 的作业会出现启动失败。
文档反馈