Databricksファイルにプロファイリング分析を作成このページは役に立ちましたか?このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。Databricksファイルでカラム分析を生成できます。DatabricksでHiveに接続するには、JDBC接続が必要です。Studioに追加します。ADLSクラスターにJDBC接続を作成します。テーブルとカラムに、単純なインジケーターを持つカラム分析を作成します。続いて、必要に応じて分析の設定を変更し、他のインジケーターを追加できます。同じHiveテーブルを使い、このADLSファイルに別の分析を作成することもできます。PlatformJDBCドライバーはjarファイルで、JDBC接続の作成に必要です。(英語のみ)に移動して登録します。JDBCドライバーをダウンロードします。Studioに移動します。(ビューを表示...)とクリックします。(ビューを表示)ダイアログボックスで、Modulesという語の入力を始めます。(開く)をクリックします。(開く)をクリックします。ResultsモジュールリストにJDBCドライバーが表示されています。Gen2ファイルをプロファイリングするためには、外部テーブルを作成して、パラメーターを設定する必要があります。begin外部テーブルを作成していること。(英語のみ)をご覧ください。外部テーブルは、tAzureFSConfigurationとtJavaの両コンポーネントを使って作成することもできます。Gen2特有のものです。(詳細オプション)を展開します。Sparkタブで、次のSparkプロパティを追加します。<key>このキーは、使用するストレージアカウントに関連付けられています。(アクセスキー)ブレードにあります。どのアカウントにも使えるキーが2つあり、このアクセスにはデフォルトでどちらのキーも使用できます。使用するアカウントに適切な読み取り/書き込み権限とアクセス許可があることをご確認ください。beginProfilingパースペクティブを選択済みであること。JDBCドライバーをダウンロードしてStudioに追加という手順を実行済みであること。S3のDatabricksクラスターに接続します。(DB接続)を右クリックします。(データベース接続の作成)をクリックします。データベース接続ウィザードが表示されます。(次へ)をクリックします。他のフィールドはオプションです。(DBタイプ)にJDBCを選択します。DatabricksクラスターのURLを入力します。このURLは次のようにして取得します。Databricksに移動します。クラスターリストで、接続先とするクラスターをクリックします。(詳細オプション)セクションを展開し、[JDBC/ODBC]タブを選択します。URL]フィールドのコンテンツをコピーします。URLの形式は、jdbc:spark://<server-hostname>:<port>/default;transportMode=http;ssl=1;httpPath=<http-path>;AuthMech=3となります。(データベース接続)ウィザードにUIDパラメーターとPWDパラメーターを入力することをお勧めします。(データベース接続)ウィザードを開きます。URLを貼り付けます。(ドライバー)リストにJDBCドライバーを追加します。[+]ボタンをクリックします。リストに新しい行が追加されます。この新しい行の横にある[...]ボタンをクリックします。(モジュール)ダイアログボックスが表示されます。(プラットフォーム)リストでJDBCドライバーを選択し、OKをクリックします。(データベース接続)ウィザードに戻ります。(クラス名の選択)をクリックし、com.simba.spark.jdbc4.Driverを選択します。(パスワード)を入力します。(Hiveのマッピング)を選択します。(テスト接続)をクリックします。(終了)をクリックしてウィザードを閉じます。テストが失敗した場合は設定を検証します。Databricksクラスターに接続を作成した後は、特定のファイルでプロファイリング分析を作成できます。beginProfilingパースペクティブを選択済みであること。Databricksクラスターに接続を作成という手順に従っていること。カラム分析の詳細は、カラム分析をご覧ください。(テーブル)と展開します。すべてのカラムで分析を作成する場合は、テーブル名を右クリックします。(カラム分析)にマウスを重ね、必要とする分析タイプを選択します。(新しい分析を作成)ウィザードが表示されます。(終了)をクリックします。他のフィールドはオプションです。選択したADLSファイルの新しい分析が自動的に作成され、分析エディター内で開きます。選択した分析タイプに応じて、カラムに対してインジケーターが自動的に割り当てられます。分析はHiveテーブルに適用されますが、外部テーブルメカニズムを使い、ADLSからのデータで統計を計算します。外部テーブルは、Hive外の元のファイルにデータを保持します。分析のために選択したADLSファイルは削除され、分析は実行できなくなります。必要であれば次の操作を行います。分析するカラムを変更します。(カラムを選択)をクリックします。インジケーターか新しいパターンをカラムに追加します。(インジケーターを選択)をクリックします。(分析結果)ビューに表示します。nextこの分析でレポートを作成できます。特定の分析のレポートの作成をご覧ください。このページは役に立ちましたか?このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。AB.無断複写・転載を禁じます。