dataBigQuerytechなぜこの記事を記載したか?私がBigQueryについてぼんやりしたイメージしか持っておらず、わかっているつもりで普段会話していますが作業者ではないので自分なりに改めて基礎的な項目から調べてみたメモです。「そもそもBigQueryってなに?」という初心者の方には役立つかもしれません!BigQueryとは?公式サイトよりマシンラーニング、地理空間分析、ビジネスインテリジェンスなどの組み込み昨日を使用してデータの管理と分析を支援する、フルマネージドのエンタープラズウェアハウスですま、データ管理と分析することができるってことは知っています。Platformにて提供されています。数テラバイトや数ペタバイトというビッグデータでの超高速で解析可能!また実行処理速度が高速なため、リアルタイムでデータ解析も可能!※参照:https://aiacademy.jp/media/?p=1184リアルタイムに強みがあるというのは改めて言われて認識しました。一般的にコストパフォーマンスが高くて、専門性がなくても扱うことができることがgoodポイントとされています。Analyticsとの連携-これはありがたいですよね。自社サイトやサービスの訪問分析などに手軽に使えます。Workplaceとの連携-情報共有やファイル作成、情報の保管など会社などのグループで統括して管理できるサービスです。ここと連携しやすくできていて、連携すれば自社の分析などできるのは容易に想像がつきますよね。大きく分けると「データを保存するための料金」と「SQLを実行して結果を取得するための料金」の2つがある。データを保存するための料金=ストレージ料金GBあたり$0.02/月が発生SQLを実行して結果を取得するための料金=クエリ実行料金オンデマンド料金(使った分だけ料金)は、各クエリによって処理されたバイト数に基づく。毎月1TBまでは無料ここら辺の料金周りは公式をご確認くださいhttps://cloud.google.com/bigquery/pricing?hl=jaちなみにSQLって何?って感じの人はudemyなどで学ぶのもおすすめなので書籍だとこちらいいですよ私はこの本にお世話になりました。達人に学ぶとなっていますが基本的な内容が網羅的にまとまっていて尚且つそこまで難しくない言葉とレイアウトなので完全なる初心者の方もサラっとであればそこまで苦労せずに読めると思います。https://www.shoeisha.co.jp/book/detail/9784798157825ちなみに...BigQueryの歴史Googleの社内では、Dremelというツールによってビッグデータの解析を行なっていたそうです。ちなみすぎますが、ドレメルとは1932年のアメリカで設立された工具メーカーのようです。BigQueryは高速なんだろうか?(とてもざっくり理解)カラム型データストア一般的はRDBでは行単位にデータを保存します!横向きにデータを保存してるって単純にイメージしてみてください。それに対して、BigQueryでは列ごとにまとめてデータを保存しています。1/2この表でGRAPEを探したい時に上から→の方向にチェックしていくのが従来のRDBです。これでは3回、目を上から通さないと見つからないですよね?それに対してカラム型では商品名を↓向きにザクっと見るので検索が早いです。!その分データの追加が実は遅いというトレードオフがあります。ツリーアーキテクチャツリーアキテクチャによって分散処理を行なっています。ツリーアキテクチャというのは、クエリ(質問文のようなもの)を受け取るサーバーと、実際に探してくるサーバーがカラム型ではなくツリー構造になっているということです。通常のアーキテクチャでは、人間に例えると、店長がアルバイト1人に向かって「商品番号が1000番台で腐ってて返品されたグレープが先月あったけどその伝票持ってきて!」って指示しています。それに対して、ツリーアーキテクチャでは、店長がアルバイトリーダーに向かって同じ指示を出すと、さらに4人くらいのアルバイトたちが同時に条件を分解してそれぞれが探してくれるイメージです。何が言いたかったかというと複数のサーバーが並行処理で探してくれるのがツリーアーキテクチャです。公式サイトよりおしまい。手軽に始められそうなハンズオンhttps://cloud.google.com/bigquery/docs/sandbox?hl=ja次回は、何か簡単な状況を設定して、この辺りのハンズオンをやってみたいと思います。5~10分で書けたところまでで公開。コメント&連絡はお気軽にどうぞDiscussionにゃんこプログラマ。5~10分で書けたところまでで公開。Proよくある質問LinksX(Twitter)GitHubメディアキットLegal利用規約プライバシーポリシ。