EdgeOneデータ分析モジュールは、EdgeOne製品が継続的に記録する膨大なログデータを詳細に分析することで、ユーザーによるトラフィック特性の分析を支援します。ユーザーエクスペリエンスを最適化するため、EdgeOneデータ分析にはサンプリングデータ統計技術が導入されており、大量のデータを処理する場合でも、クエリの正確性と適時性を維持できます。
サンプリングデータ統計とは何ですか。
データ分析において、サンプリングとは、全データから代表的なサブセットを選択して分析し、そこから価値ある情報を抽出することを指します。例えば、社会調査を行う場合、研究者は全員を調査することはできないため、一部の人々を代表サンプルとして選び、そのサンプルの回答を用いて集団全体の傾向を反映させます。
EdgeOneがサンプリングデータ統計を適用するタイミング
EdgeOneは動的サンプリング技術を活用して、さまざまなユーザーのログデータ量に対応し、データ分析の正確性と効率性を確保します。以下のデータクエリシナリオでは、EdgeOne関連ページに表示されるデータがサンプリング処理される場合があります。
指標分析ページでL7アクセス関連指標をクエリし、かつ以下のフィルタ条件を追加した場合：ステータスコード、事業者、省、TLSバージョン、URL Path、Referer、リソースタイプ、デバイスタイプ、ブラウザタイプ、システムタイプ、IPバージョン、クライアントIP、User-Agent。これは、ユーザーが全体トラフィックをクエリする際に、事前に集計された統計表を提供し、ユーザーが迅速かつ正確な統計結果を得られるようにするためです。しかし、ユーザーが特定のディメンションに基づいてドリルダウン分析を行う必要がある場合、クエリは膨大な多次元統計表に切り替わり、その際にはサンプリングメカニズムによって基盤データのスキャン量を削減し、ユーザーに高速なクエリ体験を提供します。 指標分析ページでL7防护関連指標をクエリするか、または Webセキュリティ分析ページで統計分析を行うか、もしくはサンプルログを表示する際に、クエリの時間範囲内で大規模なCC攻撃が発生した場合、表示されるデータもサンプリング結果である可能性があります。この場合、特定のリクエストIDに対応するログを検索できない状況が発生する可能性があります。 説明：
なお、EdgeOneはプラットフォームのログデータ規模とユーザーの実際のニーズに基づいて、サンプリング戦略を継続的に最適化および調整します。EdgeOneが提供するデータ分析クエリ結果についてご不明な点がある場合は、いつでもお問い合わせください。 EdgeOneの利用に影響はあるか
サンプリング統計技術はデータ分析モジュールにのみ適用され、サイト加速、レイヤー4プロキシ、セキュリティ防护などの他のサービス設定には一切影響を与えません。サンプリングデータ統計技術により、EdgeOneはより迅速に統計分析結果を提供し、ページ内でクエリ結果を取得しながらクエリ効率を向上させることができます。これにより、膨大なデータに直面した場合でも、EdgeOneはクエリの応答速度と正確性を維持できます。
全量データの照会方法
お客様のビジネス要件として全量ログデータの詳細な分析が必要な場合、EdgeOneのリアルタイムログ配信機能のご利用をお勧めします。リアルタイムログ配信は、詳細な完全ログデータをお客様が指定したログ分析システム（Tencent Cloud CLS、サードパーティのログソリューション、または自社構築のELKスタックなど）に転送できます。お客様は全量データを取得することで、きめ細かなデータ処理を実行できます。リアルタイムログ機能により、より高いデータ精度が必要なシナリオにおいて、より正確なデータ分析結果を取得でき、ビジネス判断により正確なデータサポートを提供できます。 詳細を見る
サンプリングデータ統計の動作原理
サンプリングポリシー
EdgeOneは動的分級戦略を採用しています。この戦略はお客様のドメイン名のリクエスト量と対応するクエリ性能を定期的に分析し、ドメイン名がサンプリング条件を満たしているかどうかを判定します。サンプリングシステムがドメイン名をサンプリング条件を満たしていると判定した場合、判定周期内のリクエスト量に基づいて、10%、1%、0.1%、0.01%の4種類のサンプリング比率から適切なサンプリングレベルを選択します。各サンプリング比率のトリガールールは以下の通りです：
10%：1日平均リクエスト量が1,000万回以上の場合。
1%：1日平均リクエスト量が1億回以上の場合。
0.1%：1日平均リクエスト量が10億回以上の場合。
0.01%：1日平均リクエスト量が100億回以上の場合。
サンプリングがトリガーされた後も、お客様のサンプリングレベルは常に固定されているわけではありません。お客様のドメイン名のリクエスト量が継続的に増加した場合、EdgeOneはそれに応じてサンプリングレベルを引き上げ、より低いサンプリング比率を適用します。お客様のドメイン名のリクエスト量が継続的に減少した場合、EdgeOneはそれに応じてサンプリングレベルを引き下げ、より高いサンプリング比率を適用し、場合によってはサンプリングメカニズムを解除します。
データの代表性
EdgeOneはお客様の各リクエストログに一意の識別子（Request ID）を提供します。サンプリングシステムはこの一意の識別子に基づいてお客様のデータをサンプリング分析し、サンプリング因子のランダム性を確保します。当社のテストによると、分析対象の特徴が全体データに占める割合が高い場合、サンプリング分析により迅速かつ正確な結果を提供できます。ただし、分析対象の特徴が全体データに占める割合が低い場合、サンプル数が少ないため、サンプリング分析の結果が実際より大きくまたは小さくなる可能性があることもご留意ください。
例を挙げて説明します。お客様が10,000件規模のデータセットを持っているとします。このデータセットには3つのURL Path A、B、Cが含まれており、その数量分布はそれぞれ7000（70%）、2900（29%）、100（1%）です。最も理想的な状況では、10%のサンプリング後、URL Path A、B、Cのサンプル数はそれぞれ700、290、10となります。このうち、URL Cに対応するサンプル数が少なすぎるため、サンプルに基づいて全体を推定する精度は大幅に低下します。この場合、お客様がURL Cに対してドリルダウン分析を行った結果は期待に沿わない可能性があります。