IDCF」に変更となっております。※この記事は公開されてから1年半以上経過しています。情報が古い可能性がありますのでご注意ください。今回はYahoo!ビッグデータインサイトへの初めてのエントリーですので、簡単なサービス概要と簡単な使い方としてWebサーバーであるNginxのログデータをtd-agent経由でYahoo!ビッグデータインサイトに放りこむ手順をご紹介します。Yahoo!ビッグデータインサイトに記載があるように、すぐにアカウント登録でき簡単に使い始められることを実感していただけると思います。Yahoo!ビッグデータインサイトとはサービスページに色々書かれていると思いますが、個人的には以下だと思っています。分析対象データのアップロード、分析結果のアウトプットを補助してくれるツールが豊富なサービスVisualization機能は提供しておりませんが、Visualization以外のデータ分析の機能を提供してくれるサービスだと思っています。1.1.19)のログをtd-agent経由でYahoo!ビッグデータインサイトにアップロードさせてみます。セルフクラウドのVMでなければ動作しない手順でもないと思うので是非皆様の環境でお試しください。それでは始めてみましょう。注:ここではNginxがインストールされていることを前提とします。SingUpSignUpがまだの方はSignUpページで必要事項を入力しサインアップをしてください。迷うことはあまりないかもしれませんが、手順書も用意しているのでよければ参照してください。Interface)をインストールします。Nginxを入れているサーバーに入れる必要はありませんが、ここでは同じサーバーにインストールします。以下のコマンドRubyGemsをインストールします。rubygemsCentOSの場合は以下のコマンドでインストールします。rubygems以下のコマンドでgemでCLIツールをインストールします。tdtd-agentのインストールNginxをインストールしているサーバーにログインします。td-agentは以下のコマンドでインストールすることができます。0.10.50お使いの環境がCentOSの場合は以下のコマンドでtd-agentをインストールすることができます。shAPI-Keyの取得td-agent経由でYahoo!ビッグデータインサイトにデータをアップロードするためにはAPI-Keyが必要となります。API-Key取得のためには、まずは先ほどサインアップしてもらったアカウントでWebConsoleでサインインします。クリックし、Profile画面を表示させます。KeysボタンをクリックすることでAPI-Keyが取得できます。アップロード先DBの作成Nginxのログデータを格納するDBを作成します。CLIをインストールしたサーバーで以下のコマンドを実行し、Yahoo!ビッグデータインサイトにログインします。nginxtd-agentの設定td-agentをインストールしたサーバーにログインし、以下のように設定ファイル(/etc/td-agent/td-agent.conf)を編集します。tailを指定して新規で追加されたログを取得することを指定してます。監視対象のtag付けをして以降で設定しているmatchの処理を行うようにしている。td.nginx.accessはYahoo!ビッグデータインサイト上のnginxというDBのaccessというテーブルにデータを登録するような指定をしています。ログデータの送出間隔を指定しています。以上でログをアップロードさせる準備は整いました!データアップロードの確認さてここからが本番・・・と言いつつ準備が長くてこちらの方が文章的には短いのですが。Nginxを起動します。start次にtd-agentを起動します。start次に確認のためにcurlコマンドでNginxサーバーにアクセスしてみます。念のため5回アクセスします。10Nginxのログは以下のように出力されます。librtmp/2.3"さていよいよYahoo!ビッグデータインサイトにデータが含まれているかを確認します。CLIを利用して以下のコマンドでnginx.accessのデータ件数を確認します。|+----------+--------+------+-------+--------+---------------------------+---------------------------+-----------------------------------------------------------------------------------------------------------------------------+データが5件入っていることがわかるかと思います。内容も確認してみます。set正しくデータが入っていることがわかるかと思います。おわりにいかがでしたでしょうか。Yahoo!ビッグデータインサイトのサインアップからNginxのログをアップロードするまでを説明しましたが、簡単でしたでしょうか。このコンテンツを作るには思いのほか時間がかかった(3hぐらいorz)のですが、作業自体は簡単にできたと思います。SDKなどを用いることでユーザの操作ログを取得することも可能です。SperadSheet、さらにオブジェクトストレージにも出力させることができます。長くなってきたので、このへんで。読者になる関連記事2017-04-26MastodonをIDCFクラウド上に構築してみたMastodonはTwitterライクなSNSです。Inc.▲はてなブログをはじめよう!blog-idcfさんは、はてなブログを使っています。ブログを報告する引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。