分析・開発1日目に続き2日目は早速Pandasの操作編です。Pandasはデータ解析を支援する機能を提供するライブラリでデータの読み書き、クロス表の作成、基礎統計料の確認など、いわゆる一般的な集計・分析の操作が独自関数により簡略化されているものです。レガシーな構文をつかって頑張って書くものありですが、Pandasを操作できたほうが何かと便利なので頑張って覚えましょう。Link]前提kaggleのtitanicのデータを用います。そのままでも使えますが、CSVファイルになっているので使いやすいように前処理を済ませておいてください。Disaster本セクションでお伝えする処理に、前処理は含みません!!会社でもメンバーに伝えていたことですが、Pythonで行うよりも前処理に適した言語が沢山あります。※SQL、VBA、CSVエディタ、EXCEL、SPSSModeler、Alteryx等PythonにはPythonの長所がありますし、前処理には前処理に適した言語やツールを使うべきだと思っています。様々な言語やインフラに触れてほしいと思っています。SQLですと、ローカルにポスグレを立ててもいいですし、AWSの無料枠でS3とAthenaを使っても良いかと思います。1つの言語に特化しすぎると市場での(自分の)売り方が狭まってしまうので。データフレームに読みこむ何はともあれpandasとtabulateをインポートしておきます。tabulateはコマンドプロンプトやターミナル上でもテーブルをキレイに装飾してくれるライブラリです。NoteBookでキレイに描画すればいいじゃん・・・と言われそうですが軽量なターミナルでサクッとテーブル表示したいときおすすめです。※決して私が10年前のPCたちで分析を行っているからではありません。何はともあれデータフレームに読みこんでおきます。オプションの引数については1日目のレクチャーを参考にしてください。sep='\t')チートシートRには「これだけ覚えておけばとりあえず大丈夫!!」というチートシートが割とあるのですがPythonの特定のライブラリ、今回で言うとPandas専門のチートシートがないいか調べてみました・・・・・なんと片桐さんという方が日本語版のパワポをgit上に公開しておりました。よろしければ参考にしてください。感謝しながら使いましょう!!https://github.com/Gedevan-Aleksizde/pandas-cheat-sheet-jaPandas操作編それでは早速はじめます。データ型の確認pandasデータフレームの型を一括で確認できます。df.dtypes1df.dtypesまたPythonの型には以下のようなものがあります。・その他:list,tuple,dictionaryカラム名・値の確認head関数はテーブル内のカラム名・値の確認を行う為に用います。デフォルトは先頭5行が出力されますが()内の引数として整数を渡してあげれば指定の行数が出力されます。df.head(100)12df.head()df.head(100)要約統計量を調べるdescribe関数を用いることで、標準偏差や算術平均を求めることができます。手っ取り早く確認するときは、小数点がやたらと表示されてしまうのでround関数をネストさせてあげることが多いです。※通常案件では小数点の最後尾まで全部値を残して置きましょう。2))そのまんまですが以下のようなものが出力されます。四分位数(しぶんいすう)の50パーセンタイル(第2四分位数)です※中央値medianと一緒です。最頻値の出現回数なども知りたい場合は、数値。文字列なく関係なく出力できるオプション、include=’all’を使ってあげれば良い。2))テーブルの基礎情報を調べる受領したデータの型を調べたり、中身の値の確認は、忘れずに最初にやる習慣をつけましょう。info関数ではデータの型や、欠損の有無などを調べられます。※テーブルの下までプログラムが舐めていきますので、数千〜数億レコードの縦持ちデータには向きません。print(df.info())1print(df.info())データ型を調べるinfo関数でデータの型も調べられましたが、単純に型だけ知りたい場合はdtypes関数で調べられます。ColaboratoryでPythonを実行するための準備Tableauのカスタム書式で1億単位で表示したい今更聞けないLinuxコマンド初級編[シェル]現在の場所の表示/pwdの意味って?【Windows&MAC】シェルで記述したコードをクリアする。※気になるワードはコチラからプロフィールデータ活用・マーケティング・データサイエンス系の仕事をしています。したコードはGit管理の為、ブログでは雑記が多いですが気ままに更新しておりますのでお気軽に。誤字脱字が多いですがご勘弁を。Storeのアフィリエイト報酬メモ:Yahooカードからpaypayカードに切り替わったけど、明細がCSVでダウンロードできない。G5]タイヤ交換しようと思ったら足回り(ホイール・スポーク)全交換になった話。310ch.netシェアTOPへ。