コンソールのトラフィックデータとログから集計したトラフィックデータが一致しないのはなぜですか？
サイト加速アクセスログEdgeResponseBytesフィールドに記録されたバイト数から統計したトラフィックデータは、コンソールに表示されるトラフィックデータや課金トラフィックデータと一致しない場合があります。理由は以下の通りです：
アクセスログにはアプリケーション層のデータのみ記録できます。実際のネットワーク伝送では、発生するネットワークトラフィックは純粋なアプリケーション層トラフィックより5%～15%多くなります。トラフィックは以下の2つの部分で構成されます：
TCP/IPヘッダー消費について、TCP/IPプロトコルに基づくHTTPリクエストでは、各パケットの最大サイズは1500バイトです。これにはTCPおよびIPプロトコルの40～60バイトのヘッダーが含まれます。ヘッダー部分はトラフィックを発生させますが、アプリケーション層で統計することはできません。この部分のオーバーヘッドはおおよそ3～4%程度です。
TCP再送について、通常のネットワーク伝送過程では、送信されたネットワークパケットの約3～10%がインターネット上で失われます。失われた後、サーバーは失われた部分に対して再送を行います。この部分のトラフィックはアプリケーション層でも統計できず、その割合は約3%～7%です。
TCOPと製品コンソールのデータ分析でデータ変動の幅が時折一致しないのはなぜですか？
TCOPアラートは高いリアルタイム性が求められます。一方、製品コンソールのデータ分析モジュールでは、より豊富な多次元統計分析が求められます。この2つのデータニーズをそれぞれ満たすため、EdgeOneは異なるデータ収集方法と統計方法を採用しています。2つのデータソースは全体の指標トレンドでは一致していますが、1分粒度の指標値では不一致が生じる場合があります。具体的な差異点については以下の例を参照してください：
TCOPデータソース：エッジノードマシンから収集され、ユーザーリクエストに基づいてドメイン名ディメンションに集約された分粒度のデータです。ユーザー数の急増による影響を受けず、データ量が安定しており、リアルタイム性を保証できます。ただし、統計指標はドメイン名ディメンションの主要な使用量指標のみをカバーします。例えば、ドメイン名ディメンションのトラフィック、リクエスト数などの指標です。
コンソールデータ分析：ユーザーの各リクエストによって生成された生ログを収集し、リアルタイム分析を行います。リクエストはユーザーリクエストの完了後に出力されます。ユーザー数の急増による影響を受け、データ量が不安定で、リアルタイム性も低くなりますが、デバイスタイプ、ブラウザタイプ別のトラフィック、リクエスト数など、豊富なデータディメンション指標を含みます。
例えば、あるユーザーが1GBのファイルをリクエストし、10:00:00にダウンロードを開始したとします。ダウンロードは100秒で完了します。
TCOPデータ：各エッジマシンは毎分内のある時点で監視指標を1回報告します。このリクエストの統計指標は10:01、10:02の2つの分内に記録されます。
コンソールデータ：各エッジマシンはユーザーリクエストの終了時刻10:01:40にログを1件出力します。最終的な統計値は10:01の分に記録されます。
したがって、統計ルールの違いにより、TCOPデータとコンソールデータは、ある1分粒度において不一致が生じる場合があります。