message Entry { //Entryは単一のサブスクリプションイベント構造です。1つのイベントはMySQLの1つのbinlog eventに相当します。
 Header header = 1;  //イベントヘッダー
 Event event   = 2;  //イベントボディ
}


message Header {
 int32       version        = 1;   //Entryプロトコルバージョン
 SourceType  sourceType     = 2;   //ソースデータベースのタイプ情報。MySQL、Oracleなどのタイプが含まれます。
 MessageType messageType    = 3;   //メッセージのタイプ、つまりEventのタイプです。BEGIN、COMMIT、DMLなどが含まれます。
 uint32 timestamp           = 4;   //Eventの元のbinlogにおけるタイムスタンプ
 int64  serverId            = 5;   //ソースのserverId
 string fileName            = 6;   //ソースbinlogのファイル名
 uint64 position            = 7;   //ソースbinlogファイル内のイベントのオフセット
 string gtid                = 8;   //現在のトランザクションのgtid
 string schemaName          = 9;   //変更の影響を受けるスキーマ
 string tableName           = 10;  //変更の影響を受けるテーブル
 uint64 seqId               = 11;  //グローバル増分シーケンス番号
 uint64 eventIndex          = 12;  //大きなeventをシャード化する場合、各シャードは0から番号が振られます。現在のバージョンでは意味がなく、今後の拡張用に予約されています。
 bool   isLast              = 13;  //現在のeventがeventシャードの最後のブロックであるかどうか。最後のブロックである場合はtrueです。現在のバージョンでは意味がなく、今後の拡張用に予約されています。
 repeated KVPair properties = 15;
}


message Event {
 BeginEvent      beginEvent      = 1;  //binlog内のbeginイベント
 DMLEvent        dmlEvent        = 2;  //binlog内のdmlイベント
 CommitEvent     commitEvent     = 3;  //binlog内のcommitイベント
 DDLEvent        ddlEvent        = 4;  //binlog内のddlイベント
 RollbackEvent   rollbackEvent   = 5;  //rollbackイベント。現在のバージョンでは意味がありません。
 HeartbeatEvent  heartbeatEvent  = 6;  //ソースデータベースが定期的に送信するハートビートイベント
 CheckpointEvent checkpointEvent = 7;  //購読バックエンドが追加するcheckpointイベントです。10秒ごとに1つ自動生成され、Kafkaの生産および消費場所の管理に使用されます。
 repeated KVPair properties      = 15;
}

message Entries {
     repeated Entry items = 1; //entry list
}

message Envelope {
     int32  version                  = 1; //プロトコルバージョン。data内容のデコード方法を決定します。
     uint32 total                    = 2;
     uint32 index                    = 3;
     bytes  data                     = 4; //現在のversionが1の場合、data内のデータはEntriesがPBシリアル化された結果であることを示します。
     repeated KVPair properties      = 15;
}

// Flink-kafka コンシューマーを作成します。
FlinkKafkaConsumer<RecordMsgObject> consumer = 
                       new FlinkKafkaConsumer<>(topic, new DeserializeProtobufToRecordMsgObject(), props);


                       
// カスタムデシリアライザ。元のメッセージを RecordMsgObject オブジェクトにデシリアライズします。  
@Override
public RecordMsgObject deserialize(ConsumerRecord<byte[], byte[]> record) throws Exception {
    RecordMsgObject obj = new RecordMsgObject();
    obj.topic = record.topic();
    obj.partition = record.partition();
    obj.offset = record.offset();
    obj.partitionSeq = getPartitionSeq(record);
    obj.key = new String(record.key());
    obj.headers = record.headers();
    // ここで受信されるのは Envelope のバイナリ値です。
    obj.value = record.value();
    return obj;
}           

//受信したメッセージを partition ごとに処理します。
stream.keyBy(RecordMsgObject::getPartition)
      .process(new SubscribeMsgProcess(trans2sql)).setParallelism(1);

// envlope をデシリアライズします。このデモでは、デフォルトで1つの envlope に bnlog-event の全データを格納できます。
SubscribeProtobufData.Envelope envelope = SubscribeProtobufData.Envelope.parseFrom(record.value);
if (1 != envelope.getVersion()) {
    throw new IllegalStateException(String.format("unsupported version: %d", envelope.getVersion()));
}

// デシリアライズして Entries を取得します。
ByteString envelopeData = envelope.getData();
SubscribeProtobufData.Entries entries;
if (1 == envelope.getTotal()) {
    entries = SubscribeProtobufData.Entries.parseFrom(envelopeData.toByteArray());
} else {
    entries = SubscribeProtobufData.Entries.parseFrom(shardMsgMap.get(shardId).toByteArray());
    shardMsgMap.remove(shardId);
}

// 各 Entry を順に処理し、Entry のタイプに応じて sql を出力します。
for (SubscribeProtobufData.Entry entry : entries.getItemsList()) {
    onEntry(record.partition, record.offset, ps, entry, trans2sql);
}