<commit_before>---
layout: post
title: "ビジネスデータ分析をEXCELからPythonに変更してわかった多くのメリット"
category: blog
published: true
---


今年に入ってから、前々から行いたかったデータ分析のPython移行に本格的に取組み始めてやく3か月が経過しました。経営コンサル業界にいるとデータ分析はどうしても[全員が使えるExcel](/excel-shortcuts)が中心となってしまうのですが、徐々に環境を整えようやく軌道にのってきたので状況をまとめたいと思います。

当初はEXCELでできない機械学習などを行いたいと思って使い始めましたが、だんだんそれ以外のメリットが見えてきました。当記事では、そんな使ってみてわかってきたPythonのメリットを紹介していきます。

なお、現在使用しているツールはすべて無料で使える(オープンソース)、または初期投資がかからないクラウド環境(AWS)で構築ができるものとなっています。データ分析をPythonやRで行うようにしたいんだけど、「それEXCELじゃダメなの？」と上司に言われる方のお役に立てると幸いです。

## EXCEL & オンプレ中心のデータ分析業務を、Python & クラウドに移行

Python移行だけではなく、いろいろな所に手を加えたので以下に現在の状況をまとめています。[^1]

[^1]: もちろんEXCELを完全に排除したわけではなく、目的に応じて活用しています。

|移行内容<br />(移行中のものを含む)|Before<br />従来のデータ分析| After<br />現在のデータ分析|
|---|---|---|
|データ分析(クライアント)| EXCEL, SQLServer Management Studio(SSMS)| Python(Jupyter Notebook), 様々なPythonパッケージ|
|データ分析(サーバ)| SQL Server | AWS EMR(Cloudera Impala) |
|データ管理| 共有フォルダはあるものの, 分析作業用のEXCELは随時共有(メールなど) | すべての分析結果をGitにアップロード |<commit_msg>Titleを微修正<commit_after>---
layout: post
title: "ビジネスデータ分析をEXCELからPython中心に変更してわかった多くのメリット"
category: blog
published: true
---


今年に入ってから、前々から行いたかったデータ分析のPython移行に本格的に取組み始めてやく3か月が経過しました。経営コンサル業界にいるとデータ分析はどうしても[全員が使えるExcel](/excel-shortcuts)が中心となってしまうのですが、徐々に環境を整えようやく軌道にのってきたので状況をまとめたいと思います。

当初はEXCELでできない機械学習などを行いたいと思って使い始めましたが、だんだんそれ以外のメリットが見えてきました。当記事では、そんな使ってみてわかってきたPythonのメリットを紹介していきます。

なお、現在使用しているツールはすべて無料で使える(オープンソース)、または初期投資がかからないクラウド環境(AWS)で構築ができるものとなっています。データ分析をPythonやRで行うようにしたいんだけど、「それEXCELじゃダメなの？」と上司に言われる方のお役に立てると幸いです。

## EXCEL & オンプレ中心のデータ分析業務を、Python & クラウドに移行

Python移行だけではなく、いろいろな所に手を加えたので以下に現在の状況をまとめています。[^1]

[^1]: もちろんEXCELを完全に排除したわけではなく、目的に応じて活用しています。

|移行内容<br />(移行中のものを含む)|Before<br />従来のデータ分析| After<br />現在のデータ分析|
|---|---|---|
|データ分析(クライアント)| EXCEL, SQLServer Management Studio(SSMS)| Python(Jupyter Notebook), 様々なPythonパッケージ|
|データ分析(サーバ)| SQL Server | AWS EMR(Cloudera Impala) |
|データ管理| 共有フォルダはあるものの, 分析作業用のEXCELは随時共有(メールなど) | すべての分析結果をGitにアップロード |
{'fraction_non_alphanumeric': 0.11393692777212615, 'fraction_numerical': 0.003051881993896236, 'mean_word_length': 11.69032258064516, 'pattern_counts': {'":': 0, '<': 9, '<?xml version=': 0, '>': 9, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 1, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '6863839', 'n_tokens_mistral': 1593, 'n_tokens_neox': 1492, 'n_words': 82}