Platformこの記事では、生データの取り込み、データの変換、処理されたデータの分析の実行方法など、エンドツーエンドのデータ処理パイプラインを作成およびデプロイする方法について説明します。Tablesを使用することをお勧めします。データパイプラインとはデータパイプラインは、ソースシステムからデータを移動し、要件に基づいてデータを変換し、ターゲットシステムにデータを格納するために必要な手順を実装します。データパイプラインには、生データをユーザーが使用できる準備済みデータに変換するために必要なすべてのプロセスが含まれています。データパイプラインは、データアナリストやデータサイエンティストが分析とレポートを通じてデータから価値を抽出できるようにデータを準備する場合があります。抽出、変換、読み込み(ETL)ワークフローは、データデータパイプラインパイプラインの一般的な例です。ETL処理では、データはソースシステムから取り込まれ、ステージングエリアに書き込まれ、要件(データ品質の確保、レコードの重複排除など)に基づいて変換され、データウェアハウスやデータレイクなどのターゲットシステムに書き込まれます。データパイプラインのステップDatabricksでデータパイプラインの構築を始めるために、この記事に含まれる例ではデータ処理ワークフローの作成について説明します。エンジニアリングワークスペースにいるクラスターを作成する権限、またはクラスターにアクセスする権限を持っています。Catalogにカタログとスキーマを作成する必要があります。データセットのサブセットです。ステップ1:クラスターを作成するこの例のデータ処理と分析を実行するには、コマンドの実行に必要な計算リソースを提供するクラスターを作成します。アクセスモードで構成されたクラスターを作成します。Catalogへのアクセスも可能になります。プラクティスを参照してください。[クラスターの作成]をクリックします。ページで、クラスターの一意の名前を入力します。[アクセスモード]で、[シングルユーザー]を選択します。ユーザー名を選択します。コンピュート」を参照してください。データの探索」を参照してください。生データを取り込む」に進みます。ステップ3:生データを取り込むこのステップでは、生データをテーブルにロードして、後続処理に使用できるようにします。metastoreに発行することで、次の手順を完了できます。Loaderを使用することを推奨しています。Loaderは、新しいファイルがクラウドオブジェクトストレージに到着すると、自動的に検出して処理します。ロードされたデータのスキーマを自動的に検出するようにオートローダーを構成すると、データスキーマを明示的に宣言せずにテーブルを初期化し、新しい列の導入に応じてテーブルスキーマを進化させることができます。これにより、時間の経過とともにスキーマの変更を手動で追跡して適用する必要がなくなります。Loaderを使用する際にスキーマ推論を推奨しています。データ探索ステップで見られるように、曲データにはヘッダー情報が含まれていません。ヘッダーはデータとともに保存されないため、次の例に示すように、スキーマを明示的に定義する必要があります。ダイアログが表示されます。デフォルトでは、Pythonが選択された言語です。ノートブックは、最後に使用したクラスターにアタッチされます。クラスターを作成する」で作成したクラスターです。ノートブックの最初のセルに次のように入力します。取り込まれたレコードを含めるカタログ、スキーマ、テーブル名に置き換えます(例:data_pipelines.songs_data.raw_song_data)。チェックポイントファイルを管理するためのDBFS内のディレクトリへのパス(例:/tmp/pipeline_get_started/_checkpoint/song_data)に置き換えます。クリックし、「セルを実行」を選択します。table_nameで指定されたテーブルにデータを書き込みます。ステップ4:生データを準備する分析用の生データを準備するために、次の手順で、不要な列をフィルターで除外し、新しいレコードを作成するためのタイムスタンプを含む新しいフィールドを追加することによって、生の曲データを変換します。ダイアログが表示されます。ノートブックの名前を入力します。デフォルトの言語をSQLに変更します。ノートブックの最初のセルに次のように入力します。カタログ、スキーマ、およびテーブル名に置き換えます。フィルター処理および変換されたレコードを含むテーブルの名前(例:prepared_song_data)に置き換えます。前の手順で取り込まれた生の曲レコードを含むテーブルの名前に置き換えます。クリックし、「セルを実行」を選択します。ステップ5:変換されたデータをクエリーするこのステップでは、曲データを分析するためのクエリーを追加して処理パイプラインを拡張します。これらのクエリーは、前のステップで作成された準備済みレコードを使用します。ダイアログが表示されます。ノートブックの名前を入力します。デフォルトの言語をSQLに変更します。ノートブックの最初のセルに次のように入力します。DESC<prepared-songs-table-name>を、準備されたデータを含むテーブルの名前に置き換えます。」を選択して、新しいセルに次のように入力します。前のステップで作成した準備済みテーブルの名前に置き換えます。