接続を共有することを意味します。プログラムを使用してこの設定を有効または無効にする必要がある場合は、次のstaticグローバル関数を使用します。ない場合、Sparkコネクタは共有接続を使用しません。Utilsのユーティリティ関数は、共有接続を使用しません。このオプションは、Sparkコネクタのバージョン2.11.2で追加されました。場合は、セッション共有のための準備処理と事後処理の検証を無効にするようにSparkコネクタを構成します。重要このオプションを設定する前に、準備処理と事後処理のクエリがセッションの設定に影響を与えないことを確認してください。しないと、結果に問題が発生する可能性があります。このオプションは、Sparkコネクタのバージョン2.11.3で追加されました。キーペア認証およびキーペアローテーションの使用¶Sparkコネクタは、キーペア認証とキーローテーションをサポートしています。示すように、キーペア認証の初期構成を完了します。ハードコーディングするのではなく、安全なソースからキーを読み取った後、パラメーターを動的に設定する必要があります。キーが暗号化されている場合は、キーを復号化し、復号化したバージョンを送信します。使用して、パスワードで保護されたファイルから直接読み取られます。<file.py>)に保存してから、次のコマンドを実行します。使用することができます。セキュリティ統合を構成します。パラメーターに置き換えられていることに注意してください。S3ロケーションを指定し、そのロケーションにアクセスするための認証の詳細を提供するために使用されます。次のいずれかに該当する場合、外部データ転送が必要です:バージョン2.1.x以下のSparkコネクタ(内部転送をサポートしない)を使用している、または転送には36時間以上かかる可能性がある場合(内部転送では、36時間後に期限が切れる一時的な認証情報が使用されます)。s3n://xy12345-bucket/spark-snowflake-tmp/)。指定されている場合、次のいずれかも指定する必要があります。これらのオプションは両方とも一緒に設定する必要があることに注意してください。オブジェクトから取得できます。指定する必要があります。これらの認証情報は、Hadoopクラスターにも設定する必要があります。これらのオプションは3つとも一緒に設定する必要があることに注意してください。オプションよりも優先されます。指定する必要があります。それ以外の場合、これらのパラメーターは無視されます。ライフサイクルポリシーが存在しない場合、警告がログに記録されます。設定して)このオプションを無効にすると、このチェックはスキップされます。これは、ユーザーがバケットライフサイクルポリシーではなくバケットデータ操作にアクセスできる場合に役立ちます。このオプションを無効にすると、クエリの実行時間をわずかに短縮できます。(このトピック)をご参照ください。Blobストレージに適用されるパラメーターについて説明します。次のいずれかに該当する場合、外部データ転送が必要です。バージョン2.1.x以下のSparkコネクタ(内部転送をサポートしない)を使用している、または転送には36時間以上かかる可能性がある場合(内部転送では、36時間後に期限が切れる一時的な認証情報が使用されます)。(共有アクセス署名)を指定します。Blobストレージコンテナ。URLの形式で、たとえば次のとおりです。トークンを指定します。Sparkコネクタに一時ストレージの場所と認証情報を提供する必要があります。Sparkに一時的な保存場所を提供するには、Sparkクラスターで次のようなコマンドを実行します。<azure_sas>)Copy最後のコマンドには次の変数が含まれていることに注意してください。:Azureデプロイメントのコンテナとアカウント名です。:Azureデプロイメントの場所のエンドポイントです。ある可能性があります。:共有アクセス署名セキュリティトークンです。BLOBストレージアカウントの適切な情報に置き換えます。ペアを追加することで実現できます。"true")を受け入れるパラメーターであっても、二重引用符で囲まれた文字列でなければなりません。セッションパラメーターを渡します。これにより、以前に実行されたクエリの結果の使用が無効になります。methodCopyセキュリティに関する考慮事項¶お客様は、マルチノードのSparkシステムでは、ノード間の通信が安全であることを確認する必要があります。SparkマスターはSnowflake認証情報をSparkワーカーに送信し、それらのワーカーがSnowflakeステージにアクセスできるようにします。SparkマスターとSparkワーカー間の通信が安全でない場合、認証情報は不正な第三者によって読み取られる可能性があります。データ交換のためのS3の認証¶このセクションでは、データ交換にS3を使用する場合の認証方法について説明します。Sparkバージョンは2.1.x(またはそれ以下)です。v2.2.0以降、コネクタはデータ交換にSnowflake内部の一時ステージを使用します。現在コネクタのバージョン2.2.0(またはそれ以上)を使用していない場合、Snowflakeは最新バージョンにアップグレードすることを強くお勧めします。Sparkバージョンは2.2.0(またはそれ以上)ですが、ジョブの長さは定期的に36時間を超えています。トークンの最大期間です。コネクタの古いバージョンを使用している場合、SnowflakeとSparkの間でデータを交換するためにコネクタが使用できるS3の場所を準備する必要があります。