PiflowX-MysqlCdc组件

发布时间:2024年01月10日

MysqlCdc组件

组件说明

MySQL CDC连接器允许从MySQL数据库读取快照数据和增量数据。

计算引擎

flink

组件分组

cdc

端口

Inport:默认端口

outport:默认端口

组件属性

名称展示名称默认值允许值是否必填描述例子
hostnameHostname“”MySQL 数据库服务器的IP地址或主机名。127.0.0.1
usernameUsername“”连接到MySQL数据库服务器时要使用的MySQL用户的名称。root
passwordPassword“”连接MySQL数据库服务器时使用的密码。JDBC用户名。如果指定了username和password中的任一参数,则两者必须都被指定。123456
databaseNameDatabaseName“”要监视的MySQL服务器的数据库名称。数据库名称还支持正则表达式,以监视多个与正则表达式匹配的表。test
tableNameSCHEMA“”连接到JDBC表的名称。test
tableNameTableName“”需要监视的 MySQL 数据库的表名。表名支持正则表达式,以监视满足正则表达式的多个表。注意:MySQL CDC 连接器在正则匹配表名时,会把用户填写的 database-name, table-name 通过字符串 \\. 连接成一个全路径的正则表达式,然后使用该正则表达式和 MySQL 数据库中表的全限定名进行正则匹配。test
portPort3306MySQL数据库服务器的整数端口号。。3306
serverIdServerId“”读取数据使用的 server id,server id 可以是个整数或者一个整数范围,比如 ‘5400’ 或 ‘5400-5408’, 建议在 ‘scan.incremental.snapshot.enabled’ 参数为启用时,配置成整数范围。因为在当前 MySQL 集群中运行的所有 slave 节点,标记每个 salve 节点的 id 都必须是唯一的。 所以当连接器加入 MySQL 集群作为另一个 slave 节点(并且具有唯一 id 的情况下),它就可以读取 binlog。 默认情况下,连接器会在 5400 和 6400 之间生成一个随机数,但是我们建议用户明确指定 Server id。
tableDefinitionTableDefinition“”Flink table定义。
propertiesPROPERTIES“”连接器其他配置。

MysqlCdc示例配置

{
  "flow": {
    "name": "MysqlCdcTest",
    "uuid": "1234",
    "stops": [
      {
        "uuid": "0000",
        "name": "MysqlCdc1",
        "bundle": "cn.piflow.bundle.flink.cdc.mysql.MysqlCdc",
        "properties": {
          "hostname": "127.0.0.1",
          "port": "3306",
          "username": "root",
          "password": "123456",
          "databaseName": "test",
          "tableName": "test",
          "tableDefinition": "{\"catalogName\":null,\"dbname\":null,\"tableName\":\"\",\"ifNotExists\":true,\"physicalColumnDefinition\":[{\"columnName\":\"id\",\"columnType\":\"INT\",\"comment\":\"id\",\"primaryKey\":true},{\"columnName\":\"name\",\"columnType\":\"STRING\",\"comment\":\"name\"},{\"columnName\":\"age\",\"columnType\":\"INT\"}],\"metadataColumnDefinition\":null,\"computedColumnDefinition\":null,\"watermarkDefinition\":null}",
          "properties": "{\"server-time-zone\":\"Asia/Shanghai\"}"
        }
      },
      {
        "uuid": "2222",
        "name": "ShowData1",
        "bundle": "cn.piflow.bundle.flink.common.ShowChangeLogData",
        "properties": {
          "showNumber": "100"
        }
      }
    ],
    "paths": [
      {
        "from": "MysqlCdc1",
        "outport": "",
        "inport": "",
        "to": "ShowData1"
      }
    ]
  }
}
示例说明

本示例演示了通过MysqlCdc从数据库test中读取test表数据,并使用ShowChangeLogData组件将数据打印在控制台。

演示DEMO

在这里插入图片描述

PiflowX-MysqlCdc组件

文章来源:https://blog.csdn.net/qq_19635589/article/details/135515254
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。