tencent cloud

Data Lake Compute

エンジンレベルパラメータ設定

Download
Focus Mode
Font Size
Last updated: 2025-12-24 16:43:14
説明:
現在、SparkSQLエンジンとSparkジョブエンジンの設定をサポートしています。
Sparkパラメータは、Apache Sparkアプリケーションの設定とチューニングに使用されます。自社構築のSparkでは、これらのパラメータはコマンドラインオプション、設定ファイル、またはプログラミング方式で設定できます。DLCでは、SparkSQLエンジンとSparkジョブエンジンのSQLおよびコードでSparkパラメータを指定できるほか、エンジンレベルのパラメータを直接設定することも可能です。エンジンレベルのSparkパラメータ設定は以下の通りです。

エンジンレベルパラメータ設定

1. SupersSQLエンジンモジュールに移動し、パラメータ設定をクリックすると、エンジンパラメータのサイドパネルが表示されます。
2. Sparkジョブエンジンでは、ジョブのデフォルトリソース仕様とパラメータを設定できます。SparkSQLエンジンでは、ジョブのデフォルトリソース仕様を気にする必要はありません。


エンジンレベルパラメータを使用する

Sparkジョブエンジンはエンジンレベルのパラメータを使用します

Sparkジョブエンジンでジョブを提出するには2つのエントリがあります:データジョブデータ探索。どちらもエンジンレベルのパラメータを使用できます。
データジョブを作成する際、デフォルトでエンジンレベルのパラメータとリソース設定を継承します。ジョブパラメータ(--config)を使用してエンジンレベルパラメータを上書きでき、エンジンレベルのリソース設定を継承するかどうかを選択できます。デフォルト設定を選択すると、エンジンレベルのリソース設定が使用されます。

データ探索でSparkジョブエンジンを使用してSQLを実行する際、デフォルトでエンジンレベルのパラメータとリソース設定を継承します。SQLのsetコマンドを使用してエンジンレベルパラメータを上書きでき、エンジンレベルのリソース設定を継承するかどうかを選択できます。


SparkSQLエンジンはエンジンレベルのパラメータを使用します

SparkSQLエンジンにはエンジンレベルのリソースパラメータがなく、タスクは可能な限りクラスターリソースを最大限に使用します。現在、SparkSQLエンジンはデータ探索でSQLを提出する必要があります。データ探索でSparkSQLエンジンを使用してSQLを実行する際、デフォルトでエンジンレベルのパラメータを継承します。SQLのsetコマンドを使用してエンジンレベルパラメータを上書きできます。




Help and Support

Was this page helpful?

Help us improve! Rate your documentation experience in 5 mins.

Feedback