AI クローラー対処
ダウンロード
フォーカスモード
フォントサイズ
機能の概要
生成AIと大規模モデル技術の急速な発展に伴い、インターネット上ではモデルトレーニングや情報検索を目的としたAIクローラートラフィックが指数関数的に増加しています。こうしたAIクローラーがインターネット全体のトラフィックに占める割合は継続的に上昇しており、一部のユーザーはこのトラフィックへの対処を望んでいます。一方でマーケティングシーンでは、そのコンテンツインデックスと伝播能力を活用し、ブランド情報をAIアプリケーションを通じてより多くのユーザーに届け、露出範囲を拡大したいというニーズも存在するため、関連するAIクローラーによるリソースへのアクセスを許可する必要があります。AIクローラー対処機能は、主要なAIクローラーのトラフィック特徴を識別することで、AIクローラーのアクセス行為に対する的確な対処を実現します。
操作手順
1. EdgeOneコンソールにログインし、左側のメニューバーで「サービス概要」に入り、「Webサイト安全な加速」内で設定が必要なサイトをクリックします。
2. セキュリティ保護 > Web保護をクリックします。デフォルトではサイトレベル保護ポリシーです。ドメインレベル保護ポリシータブをクリックし、ドメインレベル保護ポリシーで対象ドメインをクリックして、対象ドメインの保護ポリシー設定画面に入ります。例えば：
shop.example.com。3. Bot管理カードに移動し、基本Bot管理 > AIクローラー対処カードに入ります。
4. 編集をクリックし、AIクローラーの対処方法を設定します。AIクローラー対処機能は、監視、ブロック、許可、JavaScriptチャレンジ、マネージドチャレンジの対処方法をサポートしています。ビジネスの互換性に応じて適切なオプションを設定してください。詳細については対処方法をご参照ください。
5. 保存をクリックして、設定を完了します。
説明：
1. AIクローラー対処は、リクエストのUser-Agentフィールドに基づいて特徴識別を行います。リクエストの行動特徴、IPプロファイル特徴、リクエストレートなどのインテリジェント分析機能に基づく必要がある場合は、Bot管理機能をサブスクライブして分析と対処を行ってください。
2. 正常なトラフィックが誤ってブロックされていることを発見した場合、保護例外ルールを設定して、対処された正常なアクセストラフィックを復旧してください。
関連参考
AIクローラー対処機能を有効にすると、以下のAIクローラーリクエストに対して識別と対処が行われます：
Amazon Kendra(Amazon)Anchor Browser(Anchor)ClaudeBot(Anthropic-AI)atlassian-bot(atlassian)AwarioSmartBot(Awario)bigsur.ai(Big Sur AI)Cotoyogi(Cotoyogi)Factset_spyderbot(Factset)GoogleOther(Google)Google-CloudVertexBot(Google)Google NotebookLM(Google)Google-Extended(Google)pangu(Huawei)Liner Bot(Liner Bot)Meta-ExternalAgent(Meta)Novellum AI Crawl(Novellum)GPTBot(OpenAI)ShapBot(Parallel)PerplexityBot(Perplexity)QualifiedBot(Qualified.com, Inc.)WARDBot(WEBSPARK)
フィードバック