tencent cloud

Data Transfer Service

データ同期操作ガイド

ダウンロード
フォーカスモード
フォントサイズ
最終更新日: 2026-10-16 18:15:30
AI翻訳

操作シナリオ

DTSは、ソースデータベースの全量および増分データをCkafkaに同期することをサポートしており、ユーザーがビジネス変更データを迅速に取得して分析・応用するのに便利です。このドキュメントでは、DTSを使用してTDSQL MySQLデータをTencent CloudデータベースCkafkaに同期するプロセスについて説明します。
ソースデータベースタイプは現在、Tencent CloudデータベースTDSQL MySQLのみをサポートしています。

事前準備

1. ソースデータベースとターゲット側Kafkaを準備し、バージョンがDTS要件を満たしていることを確認してください。確認にはデータ同期がサポートするデータベースを参照してください。
2. ソースデータベース上で、同期タスクのアカウントに権限を付与します。以下の通りです。
GRANT RELOAD,LOCK TABLES,REPLICATION CLIENT,REPLICATION SLAVE,SHOW VIEW,PROCESS,SELECT ON *.* TO 'アカウント'@'%' IDENTIFIED BY 'パスワード';
GRANT ALL PRIVILEGES ON `__tencentdb__`.* TO 'アカウント'@'%';
FLUSH PRIVILEGES;
3. ターゲットCkafkaでメッセージ保持期間とメッセージサイズの上限を変更します。
メッセージ保存期間は3日に設定することをお勧めします。保存期間を過ぎたデータは削除されます。ユーザーは設定した期間内に速やかに消費してください。メッセージサイズの上限、つまりCkafkaが受信できる単一メッセージのメモリサイズは、ソースデータベースのテーブル内の単一行データの最大値より大きく設定する必要があります。これにより、ソースデータベースのデータがすべて正常にCKafkaに配信されます。

操作手順

1. データ同期購入ページにログインし、対応する設定を選択して、今すぐ購入をクリックします。
パラメータ
説明
課金モデル
年額・月額と従量課金をサポートします。
ソースインスタンスタイプ
TDSQL MySQLを選択します。購入後は変更できません。
ソースインスタンスの地域
ソースインスタンスの所在地域を選択します。購入後は変更できません。
ターゲットインスタンスタイプ
Kafkaを選択します。購入後は変更できません。
ターゲットインスタンスの地域
目的インスタンスの所在地域を選択します。購入後は変更できません。
仕様
ビジネス要件に応じてスペックを選択してください。スペックが高いほど、性能が向上します。詳細については、課金概要をご参照ください。
2. 購入完了後、データ同期リストに戻ると、作成したばかりのデータ同期タスクが表示されます。操作列の設定をクリックして、同期タスクの設定ページに進みます。
3. 同期タスクの設定ページで、ソース側とターゲット側のアカウントパスワードを設定し、接続性をテストした後、次へをクリックします。
設定項目
パラメータ
説明
タスク設定
タスク名
DTSはタスク名を自動生成します。ユーザーは実際の状況に応じて設定できます。
実行モード
即時実行と定時実行の2つのモードをサポートします。
ソースインスタンスの設定
ソースインスタンスタイプ
購入時に選択したソースインスタンスタイプは変更できません。
ソースインスタンスの地域
購入時に選択したソースインスタンスの所在地域は変更できません。
アクセスタイプ
お客様のシナリオに応じて選択してください。現在、ソース側はTencent Cloudデータベースのみサポートされています。
アカウント/パスワード
アカウント/パスワード:ソースデータベースのアカウント、パスワード。
ターゲットインスタンスの設定
ターゲットインスタンスタイプ
購入時に選択したターゲットインスタンスタイプは変更できません。
ターゲットインスタンスの地域
購入時に選択したターゲットインスタンスの地域は変更できません。
アクセスタイプ
お客様のシナリオに応じて選択してください。このシナリオでは「Ckafkaインスタンス」を選択します。
インスタンスID
ターゲットインスタンスIDを選択します。
4. 同期オプションと同期オブジェクトの設定ページで、同期オプションと同期オブジェクトの設定を完了した後、保存して次へをクリックします。
4.1 データ初期化オプション
パラメータ
説明
初期化タイプ
構造初期化:同期タスクの実行時に、まずソースインスタンスのテーブル構造をターゲットインスタンスに初期化します。
全量データ初期化:同期タスクの実行時に、まずソースインスタンスのデータをターゲットインスタンスに初期化します。全量データ初期化のみを選択した場合、ユーザーは事前にターゲットデータベースにテーブル構造を作成しておく必要があります。
フル同期の場合は、両方にチェックを入れます。増分同期の場合は、両方ともチェックを入れず、下の同期操作タイプでDDLとDMLにチェックを入れます。
Kafka に配信するデータ形式
Avroはバイナリ形式で、消費効率がより高くなっています。JSONは軽量のテキスト形式で、よりシンプルで使いやすくなっています。
開始位置の指定
初期化タイプをいずれもチェックしない場合、つまり増分同期を選択した場合、データ同期の開始位置を設定できます。
1. 全量同期と増分同期を分けて実行する場合、ここで注意してください。全量同期を実行する際、DTSがすでに同期した全量データのポジション1と、増分同期で設定された開始ポジション2の間に、DDL変更データが存在してはなりません。存在する場合、タスクはエラーを報告します。
2. データベースに設定されたタイムゾーンが現在のコンソールのタイムゾーン(つまりブラウザのタイムゾーン)と一致しているかどうかを確認してください。または、データベースに設定されたタイムゾーンに対応する時間に換算してください。そうしないと、指定されたポイントの同期結果が期待どおりにならない可能性があります。
3. ソース側のTDSQL MySQLの各クラスターノードの時刻が一致していることを確認してください。そうしないと、指定されたポイントの同期結果が期待どおりにならない可能性があります。
4. 指定されたポイントの同期を開始してから、増分タスクが開始される前まで(つまり、タスクステップが「指定されたポイントの検索」から「増分の同期」に変わる前まで)、ソースデータベースでDDLを操作することはできません。そうしないと、タスクがエラーを報告します。
4.2 データ同期からKafkaへの戦略
パラメータ
説明
Topic同期ポリシー
カスタムTopic名:配信するTopic名を設定します。設定後、ターゲット側のKafkaがそのTopicを自動的に作成します。実現効果として、同期データをそのTopic配下の異なるパーティションにランダムに配信します。ターゲット側のKafkaでTopicの作成に失敗した場合、タスクはエラーを報告します。
単一Topicへの集中配信:ターゲット側に既存のTopicを選択し、複数のパーティションポリシーに従って配信します。単一パーティション、テーブル名によるパーティショニング、テーブル名+PKによるパーティショニングをサポートし、異なるパーティションに配信します。
カスタムTopic名ルール
ユーザーが複数のルールを追加すると、カスタムTopicマッチルールは上から順番にマッチングします。設定されたデータベース名とテーブル名のルールがすべて一致した場合のみ、そのルールに対応するTopicに発送されます。データベース・テーブルのマッチルールに一致しない場合、最後のルールのTopicに発送されます。複数のデータベース・テーブルのマッチルールに一致した場合、すべてのマッチルールのTopicに発送されます。
設定例については、Kafka へのデータ配信ポリシー設定例を参照してください。
説明:
マッチルールはデータベース・テーブル名の大文字と小文字を区別します。
ソースデータベースでlower_case_table_names=0に設定した場合、データベース・テーブルのマッチルール内のデータベース・テーブル名は、ソースデータベース内の名前と大文字・小文字を厳密に一致させる必要があります。
ソースデータベースでlower_case_table_names=1に設定した場合、データベース・テーブル名は小文字に統一して変換され、データベース・テーブルのマッチルール内のデータベース・テーブル名は小文字で統一して入力されます。
単一Topicへの集中配信ルール
指定されたTopicを選択すると、システムは以下の指定ポリシーに従ってパーティショニングを行います。
すべてPartition0に配信します:ソースデータベースの同期データをすべて最初のパーティションに配信します。
テーブル名によるパーティショニング:ソースデータベースの同期データをテーブル名に従ってパーティショニングします。設定後、同じテーブル名のデータは同じパーティションに書き込まれます。
テーブル名+PKによるパーティショニング:ソースデータベースの同期データをテーブル名+PKに従ってパーティショニングします。ホットデータに適しており、設定後、ホットデータのテーブルは、テーブル名+PKの方式でデータを異なるパーティションに分散し、並行消費効率を向上させます。
DDLを格納するTopic
任意です。ユーザーがソースデータベースのDDL操作を指定したTopicに個別に発送する必要がある場合、ここで選択して設定できます。 設定後、デフォルトで選択済みTopicのPartition0に発送されます。設定されていない場合は、上で選択したTopicルールに従って発送されます。
4.3 データ同期オプション
設定項目
パラメータ
説明
データ同期オプション
同期操作タイプ
サポートされる操作:Insert、Update、Delete、DDL。
同期オブジェクトオプション
ソースインスタンスのテーブルオブジェクト
同期をサポートする基本的なデータベース、テーブルオブジェクトのみです。
5. 検証タスクページで、検証を完了し、すべての検証項目に合格した後、タスクを開始をクリックします。 検証タスクが合格しない場合は、検証不合格の対処方法を参照して問題を修正した後、検証タスクを再実行します。
失敗:検証項目のチェックが不合格であり、タスクがブロックされていることを示します。問題を修正した後、検証タスクを再実行する必要があります。
警告:検証項目のチェックが要件を完全には満たしていないことを示します。タスクを続行できますが、業務に一定の影響があります。ユーザーはプロンプトに基づいて、警告項目を無視するか、問題を修正してから続行するかを自身で評価する必要があります。
6. データ同期タスクリストに戻り、タスクは実行中状態に入ります。
説明:
操作列の詳細 > 終了を選択すると、同期タスクを終了できます。データ同期が完了したことを確認してからタスクを終了してください。
7. (オプション)タスク名をクリックすると、タスク詳細ページに入り、タスクの初期化状態と監視データを確認できます。

後続操作

データをターゲット側Kafkaに同期した後、データを消費できます。データ消費のプロセスを迅速にテストし、データ形式の解析方法を理解できるように、消費サンプルDemoを提供しています。詳細については、データ消費操作ガイドを参照してください。

ヘルプとサポート

この記事はお役に立ちましたか?

フィードバック