最終更新日:2024.1.31FacebookTwitterはてブビックデータを分析し活用することが多い昨今、クラウドのデータウェアハウスである「BigQuery」を使用したいもしくは既に使っている企業も増えてきました。BigQueryはビックデータ処理を助ける便利なサービスです。膨大なデータを高速で処理したい場合や、Google系サービスのデータを使うことが多い場合は、役立つでしょう。一方で、下記のような不安も多く聞きます。扱いが難しいのではないか莫大な料金がかかるのではないかそこで本記事では、当社のBigQuery導入・運用実績と経験を踏まえ、お客様からいただいたご不安や質問を集め、BigQueryについて概要や特徴含めわかりやすく解説します。データ分析の解説記事についてもぜひご参照ください。Platform(GCP)」のプロダクトの1つです。DWH(データウェアハウス)とは、蓄積された大量のデータを必要に応じ分析・活用するためのシステムです。クラウドDWHのGCPには以下のように様々なプロダクトが存在します。一気通貫して行うことが可能となります。その中でBigQueryは、主にデータの加工を担当しています。以下のようなイメージです。データを集める・貯める・分析用に加工する・可視化して分析する、の詳しい説明についてはこちらの記事で具体的に解説しています。合わせてご活用してください。データプラットフォームとは?導入に向けて組織が知るべき基礎知識データ加工の操作には、SQLを用いることが多いです。BigQueryはWebブラウザ上で起動することが可能で、SQLを書いてデータの処理を行います。CloudのこちらのページからBigQueryを起動すると、以下のような操作画面が表示されます。BigQueryはコマンドラインからの操作も可能であるBigQueryはWebブラウザからの操作以外にも、コマンドラインからの操作も可能です。SDKのインストールが必要となります。普段コマンドラインを使う場面が多い場合や、コマンドラインからgitを操作したい場合には相性が良いと言えるでしょう。詳しい使い方については、こちらに詳しく説明されているのでぜひご参照ください。BigQueryの9つの特徴BigQueryの様々な機能・特徴のうち、9つをピックアップしてご紹介します。シンプルで使いやすい操作画面でクエリ作成・実行が出来る1つ目は、操作画面が見やすくクエリ作成と実行がスムーズに出来ることです。BigQueryの操作画面は下の図のように、3つのセクションに分けられており、この画面でSQLの作成と実行を行います。3つのセクションの内容は以下の通りです。ナビゲーションペイン:クエリ・ジョブの履歴や、BigQueryに格納されているデータを閲覧・指定が出来ますクエリエディタ:実際にクエリを作成し、実行が出来ます詳細ペイン:BigQueryに格納されているデータの詳細や、クエリの実行結果の詳細が確認出来ます全ての項目が理路整然として配置され、デザインも見やすいので、クエリの作成・実行が直感的に行えるのが大きな特徴です。「クエリ実行はどのボタンだっけ?」「テーブルを参照するにはどうすれば良いんだっけ?」と言ったことに悩まずにスラスラ操作できる見やすい操作画面です。処理が高速である2つ目は、クエリの実行速度が高速であることです。BigQueryはGoogle社の強力なインフラを使用するので、膨大なデータの高速処理が可能となります。TB(テラバイト)クラスのテーブルに関しても数秒・数分で結果が返ってくる為、「処理が遅すぎてそもそも分析作業が出来ない」といった事態を避ける事ができます。下の画像では、6.5TBサイズの処理が6分もかからずに終了したことを示しています。ローカルのPCやエクセルファイルで処理する場合とは、比較にならないほど高速の処理が出来るのが大きな強みです。従量課金ベースでありコスト調整が出来る3つ目は、BigQueryは使用したデータの分だけ課金される従量課金制なので、使用するデータ量や頻度を調整すればコストも柔軟に調整が出来ます。BigQueryを使わない月でも、膨大な費用が固定的にかかるということはありません。BigQueryの料金体系は大きく以下の2つに分かれています。処理するデータ量・操作方法に応じて課金されるデータ操作料金それぞれ以下のように、利用に応じた細かい料金が設定されています。利用に応じた従量課金と言っても、「どれくらい使うか不明なので見積もりが立てにくい」という場合もあるでしょう。その時は、こちらのサイトでBigQueryのコストシュミレーションが出来ますので是非ご活用ください。コストを更に抑えたいという時には以下のサイトが参考になるでしょう。アップデートにより便利機能が追加され進化が早い4つ目は、アップデートによる機能の追加や改善が頻繁にされることです。BigQueryはSaaSであることから、月に何度もアップデートが行われています。以下の通り2020年11月だけでも、16回のアップデートが行われています。内容は、パフォーマンスの改善や関数の追加など多岐に渡り日々便利な機能が追加されているイメージです。中には「ちょうどこの関数が欲しいところだった!」といったこともあるので、頻繁にアップデートが走ることはユーザーにとって心強いと言えます。最近追加された便利機能〜日付と算術演算子〜最近追加された機能で便利だと感じたのは、日付計算を算術演算子を用いることが出来るようになった点です。DAY)とすることが一般的です。1とすれば同様のことが出来るようになりました。した「あると便利」「使えるとSQLの可読性が高まる」アップデートが多く、ユーザーとしてはありがたいですね。クエリ結果の作成・出力が直感的に出来る5つ目は、SQLの実行結果をテーブルとして保存するのが容易であることです。「クエリを実行した結果を一旦テーブルとして保存したい」という場面は分析業務をする上でよく有ると思います。その際に「結果の保存」機能が役立ちます。下記のように「結果の保存」を使用すると、BigQuery上にテーブルを作成することが出来たり、そのままcsvファイルに出力することが容易に出来ます。table」とクエリの先頭に書かずにクエリ結果を作成と出力が可能です。クエリ結果の可視化が直感的に出来る6つ目は、SQLの実行結果を可視化して分析することが容易であることです。「クエリで出した値が正しいか可視化して確認したい」という場面にこの機能は非常に役立ちます。Studio)」という可視化ツールが起動します。データポータルは下記のようにBigQuery上のデータを可視化できるツールであり、クエリ結果もテーブルを作成しなくとも同様に可視化が可能です。「テーブルを都度作成して可視化するのが面倒」という場面に重宝する機能です。「データポータル」の詳しい使い方についてはこちらの記事に記載されているのでご活用してください。データスタジオを使ってみようまた、データポータルだけではないデータ可視化ツールをお探しの場合はこちらの記事で詳細を書いています。作成したクエリを保存、共有が出来る7つ目は、作成しているクエリの保存・共有が数クリックで簡単に出来ることです。クエリが長文で作業が中断する際や、自分が作成したクエリを他人に共有したい時に役立ちます。クエリを実行後、下記のように「クエリを保存」をクリックすると名前と公開設定を選択してクエリを保存することができます。git等でクエリを管理するのも一つの有効な手段ですが「BigQuery上でクエリの管理を完結したい」という時には役立つ機能でしょう。バッチを簡単に作成出来る8つ目は、定期バッチ処理を数クリックで簡単に作成出来ることです。「定期的にクエリを自動実行してテーブルを更新したい」という時などに、以下のようにクエリエディタから簡単にクエリのスケジュールを設定することが可能です。定期的に実行したいクエリを記述した後は、特に難しい処理を踏むことなくスケジュールを指定すればバッチ処理の設定は完了です。以下のようにスケジュール化したクエリは一覧表示が出来るので管理も容易です。Googleの他サービスのデータと容易に連携できる9つ目は、BigQueryに他のGoogleのサービスのデータをスムーズに取り込むことが可能です。BigQueryと連携が可能なGoogleのサービスは数多くありますが、代表的なものとしては以下が挙げられるでしょう。Storageですので、既にGoogleのサービスを自社組織で使用しておりデータを活用したいという際は、BigQueryとの相性は良いです。Analytics」と比較検討することになることが多いでしょう。予算、規模など自社組織の状況に応じてどのサービスを選定するか判断する必要がありますが、以下の観点は導入検討時に理解しておくと良いです。料金体系が各DWHでは異なり優劣をつけるのが困難まず、Google・AWS・Microsoftの各DWHは料金体系が異なります。どのサービスを使うのが最も安価なのかは状況によって千差万別です。以下が主要3サービスの料金体系を簡潔にまとめたものです。表の通り、各サービスの料金体系が異なる為どのサービスが最も安いかの単純比較は難しく、自社組織のデータ量、利用頻度など状況に応じて最適なサービスを選ぶ必要があります。各サービスの料金体系は以下の公式サイトに詳しく記載されています。判断に迷う際には、それぞれのカスタマーサービスに問い合わせるのが最も確実です。連携できるサービスが違うので、プロダクト単体だけでなく連携も視野に入れるべき2つ目は、各社それぞれ他サービスとも連携が可能なので1つのプロダクトだけでなく他プロダクトも意識するべきです。「データ分析」という用途だけを取ってみても、Google・Amazon・Microsoftのプロダクトは以下のように数多く存在します。実際に自社組織にサービスを導入し、ビックデータ処理をするとなると様々なサービスを使用することになるでしょう。その際には、1つのプロダクトだけを見るのではなく、自社にとってそのサービスが向いているのか判断しなければなりません。簡単に判断ができるものではありませんが、こちらのサイトでもケースごとにサービス比較がされており判断の参考材料となるでしょう。BigQueryは無料で分析を始めることが出来るBigQueryをこれから組織や部門で導入を検討する際には、無料でトライアルが可能です。BigQueryには以下の2つが用意されています。豊富なサンプルデータセットこれらがあるおかげで、BigQueryのざっくりとした性能や使用感を無料で把握出来るでしょう。この2点について解説します。Platformを初めて使用する場合、$300分の無料クレジットを含む90日間の無料トライアルを出来ることです。BigQueryに関しては、以下の上限の範囲内であれば無料で使用できます。Cloudの無料プログラム」より引用ですので、自社組織で本格導入を検討する前に試しに使ってみたいという時に使わない手はないでしょう。実際に無料トライアルを始める方法については、公式のこちらのページを参照してください。無料トライアルについては「90日かつ$300分まで」という上限がありそれを超えると料金が発生するのでご注意下さい。豊富なサンプルデータセットで動作を確認できる2つ目は、BigQueryには一般に公開されている豊富なデータで挙動を確認出来ることです。試しにBigQueryを使うにも「セキュリティ的に会社のデータを使うわけにはいかない」という場合でも一般公開のデータを使えるので安心してBigQueryを操作できます。下記のように、BigQueryのナビゲーションペインの「リソース」から一般公開データセットを追加出来ます。データセットの種類も豊富で、以下のように様々なカテゴリー別に存在します。自社組織が保有するデータに似たデータセットがあれば、より使用のイメージがしやすくなるでしょう。Analytics」のサンプルデータも存在するのでも自社で使用している場合はこちらも活用することが出来るでしょう。BigQueryを使う時に参考になるコンテンツBigQueryは使用ユーザーや既に活用している企業が多いこともあり、コンテンツが多数存在します。ここでは、自分の実務経験上個人的にオススメなものをご紹介します。⇒Udemyで詳細を見るBigQueryを学習環境とした、標準SQLの知識を習得することができる動画講座です。基本的なSQL文法はBigQueryで問題なく使えますが、中にはBigQuery特有の文法がいくつか存在します。した「BigQuery特有のクセ」を学べる点でもこちらのコンテンツはオススメです。エンタープライズ設計ガイド⇒Amazonで詳細を見るBigQuery含めたGCPの特徴を詳しく記述した本です。BigQueryの自社導入を検討する場合、GCPを中心としたデータ分析基盤の構築を考えることとなるでしょう。その際に辞書として手元に置いておきたい本です。まとめBigQueryで出来ることを具体的な機能とともにご紹介しました。Google社の強力なインフラを使用したBigQueryはビックデータを処理する上で非常に便利です。エクセルやローカルPCでは到底出来ないような、大容量なデータが高速で処理が可能です。非常にシンプルで使いやすいのも大きな特徴で、これから扱う場合でもスムーズに扱えると思います。無料トライアルも用意されており導入に向けて試しに利用することも用意ですので、一度試してそのパワーを実感されるのがおすすめです。「BigQuery」等のデータウェアハウスの導入をご検討中の場合はデータビズラボへお問い合わせください。データビズラボではデータウェアハウス導入支援やデータ活用について様々なサービスをご提供しております。データビズラボへ問い合わせする無料EBook:DXの羅針盤−よくある19の質問に回答-デジタル戦略を考えようとしても、「自社のデータ活用に悩んでいる」「何からやればいいのかわからない」「新しく新設したデジタル戦略室に配属された」などお悩みの方は多いでしょう。そこでこの冊子では、DXやデジタル領域でよくある19の質問にデータビズラボ代表永田が詳しく丁寧に回答しています。データ活用・デジタルトランスフォーメーション(DX)の大方針ともなる羅針盤としてご活用していただけるものと信じています。EBookをダウンロード酒井悠亮データビズラボ株式会社BIエンジニア都内のIT企業に勤務する傍ら、データビズラボでは主にビックデータ分析基盤・BIを用いたダッシュボード構築を担当。Japanにてプリセールスエンジニア、エクスチュア株式会社にてデータエンジニアとして勤務し、経験を積む。