データレイクコンピューティング DLC は、標準エンジンと SuperSQL エンジンの2種類のエンジンを提供します。具体的な違いについては、以下の表またはデータエンジンの紹介を参照してください。実際の業務要件に応じて、適切なエンジンを選択して使用できます。標準エンジンを選択する場合は、このドキュメントに従って設定および使用できます。 |
標準エンジン | Spark Presto | 一体化Spark：標準Sparkエンジンでネイティブ構文を実行可能：Spark/Prestoコミュニティのネイティブ構文、学習や移行のコストが低い 柔軟に使用可能：Hive JDBCおよびPresto JDBCをサポート 統一実行：標準SparkエンジンでSQLおよびバッチタスクを実行可能 | | 1. Spark/Presto ネイティブ構文を使用する必要があります。 2. Sparkエンジンを購入して、バッチジョブおよびオフラインSQLタスクを完了したいです。 3. Hive JDBCおよびPresto JDBCを使用したいです。 |
SuperSQLエンジン | SparkSQL Sparkジョブ Presto | 統一構文：同一の構文がSparkおよびPrestoエンジンに適用されます。 連邦クエリをサポート | SuperSQL統一構文を学ぶ必要があります。SQL/バッチタスクシナリオでは、対応するタイプのエンジンを購入することをお勧めします。 | 1. Spark + Presto 統一構文を使用したいです。 2. 連邦クエリを使用する必要があります。 |
注意：
1. 購入前に、CAMで財務権限が開通されているかどうかを確認してください。
2. リソースは地域を跨いで使用できません。購入前に現在の地域が正しいか確認してください。
3. SuperSQL タイプエンジンおよび Presto エンジンは提供を終了し、既存ユーザーのみが利用できます。
標準エンジン構成ガイド
標準エンジンの購入と構成が完了したら、DLCのデータ探索で標準エンジンを使用できます。また、Spark標準エンジンについては、マルチテナントやタスク分離の要件がある場合、リソース割り当てと分離のための標準エンジンリソースグループを別途構成できます。具体的な手順は以下の通りです： 第一步：エンジンを購入
説明：
1. エンジンは地域を跨いで使用できません
2. エンジン仕様の推奨：16CUsのクラスタ規模は小さいため、テストシナリオでのみ使用することをお勧めします。実際の本番シナリオでは、64CUs以上の仕様のクラスタを購入することをお勧めします。
3. エンジンネットワーク構成：初回の開通・購入時には、カスタムネットワーク構成を設定することができます。後続で変更が必要な場合は、チケットを提出して申請してください。 1. データレイクコンピューティング（DLC）コンソールにログインし、サービス地域を選択してください。
2. 左側のナビゲーションメニューから標準エンジンに入ります。 第二步：データ探索を使用します
標準エンジンを選択してクエリを実行します
説明：
標準エンジンのタイプに応じて、対応する構文に切り替えてクエリを行う必要があります。
タスクを実行する前に、コード編集領域の右上隅でデータエンジンを選択してください。データ探索で選択したエンジンタイプが標準Sparkエンジンの場合、DLCのデフォルトリソースグループ、作成済みのリソースグループ、または一時リソースグループ（カスタム構成）を使用してタスクリソースを割り当てることができます。
全量結果を取得します
標準エンジンは現在、ワークベンチで200件、500件、または1000件のクエリ結果を返すことをサポートしています。全量結果の取得については以下の方法を参照してください：
|
標準 Spark エンジン | 1. ユーザーが設定を通じてクエリ結果を自動的にCOSパスまたはDLCのマネージドストレージに保存することをサポートします。 2. ダウンロードしてローカルで確認 |
標準 Presto エンジン | JDBCを介して全量結果を取得します。 説明： Prestoエンジンは提供を終了し、既存ユーザーのみが利用できます。 |
第三步：リソースグループの設定（オプション）
リソースグループは、Spark標準エンジンの計算リソースに対する二次キューの区分です。詳細な説明についてはリソースグループの紹介を参照してください。DLC Spark標準エンジンの計算ユニット（CU）は、必要に応じて複数のリソースグループに割り当てることができ、各リソースグループで使用できるCU数の最小値と上限、起動停止ポリシー、同時実行数、動的・静的パラメータなどを設定できます。これにより、マルチテナントやマルチタスクなどの複雑なシナリオにおける計算リソースの分離とワークロードの効率的な管理を実現します。 標準Sparkエンジンを購入した場合、データレイクコンピューティング（DLC）はデフォルトのリソースグループを提供し、実際の業務ニーズに基づいて複数のカスタムリソースグループを生成して柔軟に使用できるようサポートします。
説明：
エンジンとリソースグループは一対多の関係です。例えば、エンジンAの下には複数のリソースグループを持つことができます。
リソースグループの管理と設定
1. 左側のナビゲーションメニューから標準エンジンに入り、購入済みエンジンの名前/IDに基づいて、対応する操作欄の管理リソースグループをクリックしてください。 2. リソースグループ管理インターフェースに入り、左上隅のリソースグループ作成ボタンをクリックして、カスタムリソースグループの構成を行います。または、DLCのデフォルト構成リソースグループ（構成不要）を使用して確認します。
付録
ゲートウェイ仕様選択に関する推奨事項
|
2CU | 30/50 | 100 | 4 | 50 | いいえ |
16CU | 80/150 | 250 | 12 | 150 | はい |
32CU | 220/400 | 600 | 35 | 400 | はい |
64CU | 400/600 | 1000 | 70 | 700 | はい |
注意：
ゲートウェイはデフォルトで2CUの仕様を提供します（無料）。仕様アップグレードの必要がある場合は、ゲートウェイの詳細 > 仕様構成ボタンをクリックして調整・購入できます。操作手順についてはゲートウェイの紹介を参照してください。