Analyticsを実データで試して気になったことメモTweetサンプルは普通に動きますが、サンプルを動かしただけでは実際にハマりどころが分からないので、実際のデータを使ってみるよ。調べながら書いた自分用のメモなので、非常に見にくいと思います。Queryを実行できるものです。端的に言えばNorikraみたいなものです。PipelineDBにも似ている気はしますが、PipelineDBの最大の特徴である結果を保持しておいてSQLで取り出すという事は出来ないので、個人的には競合にはならなそうですね。お手軽感で言えばConsumerを既に持っているのであれば、PipelineDBの方に軍配が上がります。Streamを作り、一部のproductionのデータをそちらにもコピーするようにしました。気になった事を列挙していきます。streamと言われる事がある。streamって言われる。謎の5.0.1というバージョンがhttp://docs.aws.amazon.com/kinesisanalytics/latest/sqlref/sql-reference-reserved-words-keywords.htmlS3のデータをJOINサンプルにはCompanyNameっていうS3のデータとJOINしているっぽいものがあるConsoleから設定はできない。APIを使う必要がある。application.S3のデータ、マルチバイト文字列たぶん駄目だと思うけど、まだ試していない。後述の方法で登録はしてみたものの、エラーが出る。1個のApplicationにReferenceは1つまでつまり、複数のS3のファイルとJOINする事はできないポチポチ弄ってると、ApplicationのStateがずっとUpdatingのままになる20分ほど放置しても、ずっと変わらず。何も操作できない..😨PUMPのSQLで列名を参照する時にエラーになるSchema定義の時に列名を全て大文字で定義しないと参照できないじゃぁValidationの正規表現、小文字を許すべきではないのでは..😨ダブルクォートで括れば良いそのままだと全て大文字で扱われる、ダブルクォートで括れば変換されないのでスキーマ定義の方が小文字でも大丈夫。めんどくさいな...ここまでで、自分のデータでクエリをかけるところまではできた。Roleに権限を追加しても、未だにS3のファイル参照は出来ていない。調査はここまでにして、気になった事をサポートに投げています。devices-input.json)"devices-input.jsonの中身です。エラーが出て良くわからない場合は、--debugを付けて実行すると良いです。Analyticsのタブには出てくるんだけど、中身を見ようとするとエラーになる。SECOND);これで参照できない。参照する時に内部的に大文字に変換していて、スキーマ定義の列が大文字ではないので、そんな列はないぞと言われる。いくつかのパターンを試してみましたが、スキーマ定義は大文字必須のようだ。2016/08/14サポートの人から教えて貰いまして、ダブルクォートで括らないと大文字に変換されるそうです。ダブルクォートで括れば、スキーマ定義が小文字のままでも参照できます。Role(のポリシー)のPermissionがおかしくなってました。1つのApplicationに複数のポリシーが紐付いていて、その状態だと画面を開く度にポリシーのバージョンが更新されていってしまう。これはもうGUIの不具合という事で片付けて、深追いしないことにしました。PostIDFAが起動する度に変わる件についてAboutたむたむ@tamtam180インフラエンジニアやSREと勘違いされる事が多いですが、本業はバリバリとサービス開発をするソフトウェアエンジニアです。本業のサービスやビジネスに直結する話は書けないため、ミドルウェアの話が多めです。インターネットにゴミ(駄文)をまき散らすマン。