サブスクリプション操作説明
1. DTS購読タスクの地域は、クラウドデータベースが属する地域と一致している必要があります。
2. ソースデータベースで選択済み購読対象の指定データベースまたはコレクションを削除すると、そのデータベースまたはコレクションの購読データ(Change Stream)は無効になります。ソースデータベースでそのデータベースまたはコレクションを再作成してもデータの購読を再開することはできません。購読タスクをリセットし、購読対象を再度選択する必要があります。
3. データ購読はデフォルトでfullDocumentオプションを有効にします。MongoDBの単一Change Streamイベントには16 MBのサイズ制限があるため、単一の購読データドキュメントサイズが8 MBを超えると、購読タスクが失敗する可能性があり、再設定が必要です。購読対象内の単一ドキュメントのサイズが8 MBを超えないようにしてください。
消費操作説明
1. データ消費時には、外部ネットワーク経由でデータ購読のKafkaに接続して消費することはサポートされておらず、Tencent Cloudの内部ネットワークからのアクセスのみがサポートされています。また、消費の地域は、DTS購読タスクの地域と一致している必要があります。
2. データの再入可能性を保証するために、DTS購読はCheckpointメカニズムを導入しています。メッセージがKafka Topicに書き込まれる際、通常10秒ごとにCheckpointが1つ挿入され、データ同期の位置を識別するために使用されます。タスクが中断された後に再起動すると、中断位置を認識して再開できます。また、コンシューマー側はCheckpointメッセージを受信すると、Kafkaの消費位置のコミットを一度実行し、消費位置をタイムリーに更新します。
組み込みKafkaの説明
1. 購読したメッセージはDTS内蔵Kafka(単一Topic)に保存されます。現在のデフォルト保存期間は直近1日間で、単一Topicの最大ストレージは500Gです。データの保存期間が1日を超えた場合、またはデータ量が500Gを超えた場合、内蔵Kafkaは最初に書き込まれたデータから削除を開始します。そのため、データが消費される前に削除されないよう、ユーザーは速やかに消費してください。
2. DTSに内蔵されているKafkaが処理する単一メッセージには一定の上限があります。ソースデータベース内の単一行データが10MBを超えると、このデータは消費側で破棄される可能性があります。
サポートされるSQL操作
|
DML | INSERT、UPDATE、DELETE |
DDL | INDEX:createIndexes、createIndex、dropIndex、dropIndexes
COLLECTION:createCollection、drop、collMod、renameCollection
DATABASE:dropDatabase、copyDatabase |