<jupyter_start><jupyter_text>Pythonの環境構築**Windows11をお使いの方は[こちらのノートブック](https://colab.research.google.com/github/SotaYoshida/Lecture_DataScience/blob/2021/notebooks/Python_misc_python_env_forWin11.ipynb)を参照してください**手元で作業がしたい、という方に向けて  ローカル環境にPythonを導入する方法をOSごとに紹介する。  難易度としてはLinux < Mac << (壁)<<  Windowsといった感じ(私見).<jupyter_code>#動画貼り付け用にモジュールをインポートしておく
from IPython.display import HTML
from base64 import b64encode<jupyter_output><empty_output><jupyter_text>Windowsの場合 いくつかの方針が考えられる。1. Pythonのインストーラを用いてインストールする    * メリット: Windows環境を汚さない, インストールが楽    * デメリット: 他のプログラミング言語などへの拡張性が低い2. Linux環境を構築する（**推奨**)    * 2-1.   Windows Subsystem for Linux(WSL)（**推奨**)          * メリット: Windows環境を汚さない, Linuxシェル環境・パッケージマネージャ(Pythonに限らず各種インストールが楽)          * デメリット: WSL特有の情報を調べる必要がある    * 2-2.  デュアルブート           * メリット: Windowsとは別に好きなLinuxディストリビューションを共存させられる          * デメリット: ディスク領域の分割などが必要        慣れないとデータを吹っ飛ばす危険あり          (外部ストレージ等でのバックアップ必須です)    * 2-3. その他 (Docke環境など)        * このノートブックでは説明しない  1.の方法<jupyter_code>HTML(r'<iframe width="560" height="315" src="https://www.youtube.com/embed/z2_nNvpgonY" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>')<jupyter_output><empty_output><jupyter_text>以下のA)B)いずれかの方法でストアを開き  Python3.8かPython3.9を選び[入手]する。A) Microsoft Storeを開き、pythonと検索する。B)コマンドプロンプト※を開き、pythonと入力してEnter→Storeが開く。  (※Win１０の左下にある検索バーにcmdと打つと出てくる)  B)の方法だとstore上で古いpythonが開くかもしれないので  検索バーから再度pythonと検索しよう。**インストールしたpythonの使い方**コマンドプロンプト上で```python```と実行すると対話モードでpythonが開く。  スタートメニューからpythonを起動しても同じ。```print("Hello World")```や、```for i in range(5):    print(i)```などを実行してみよう。Python(対話モード)を終了する際はCtrl+Z(もしくはCtrl+Cを実行後にCtrl+Z)→Enterを押すか、```exit()```と入力しEnterを押せば良い。**Python用のライブラリをインストールする方法**コマンドプロンプト上で```pip install matplotlibpip install pandaspip install Selenium```などとする。**ソースファイルの編集と実行**対話モードだと、長い処理を実現するのには向いていないので、  作業をソースコードとしてファイルに書き出し、それを実行したくなる。  実行したい場合は、コマンドプロンプト上で```python hogehoge.py```などとすると```hogehoge.py```というファイルに書いた処理が実行される。例: デスクトップにあるソースコードを実行する場合```chdir Desktop　```などして、適宜カレント(現在いる)ディレクトリの変更をするか```python Desktop/hogehoge.py```など実行するソースの(相対 or 絶対)パスの指定が必要になる。  2-1. の方法 Windowsの中にLinux(とくにUbuntu)を入れる方法[Windows11用の資料](https://colab.research.google.com/github/SotaYoshida/Lecture_DataScience/blob/2021/notebooks/Python_misc_python_env_forWin11.ipynb)も参考になります。<jupyter_code>HTML(r'<iframe width="560" height="315" src="https://www.youtube.com/embed/deZTrWYk9vU" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>')<jupyter_output><empty_output><jupyter_text>* **手順1.WSLの有効化**    コントロールパネルから[プログラム]->[Windowsの機能の有効化または無効化] を選択し      「Windows Subsystem for Linux」にチェックを入れて有効化する(再起動が必要)* **手順2. Ubuntuのインストール**    Microsoft storeでUbuntuと検索し、1番目(単にUbuntuという名前のもの)か、      あるいは20.04LTSをインストールする          ※Windows OSのアップデートをしばらく行っていない場合、入手ボタンが押せない。      一般論として、OSのマイナーアップデートは都度行うようにしましょう。        (メジャーアップデートは場合による...)* **手順3.Ubuntuの起動・初期設定**        スタートメニューからUbuntuを起動する    * Enter new UNIX username: Linuxで使うユーザー名を入力する    * new password: パスワードを設定する    * Retype new password: 確認のため再入力する    これで、windows内にlinux環境が構築されます。* **手順4. aptのupdate/upgrade**     Ubuntuターミナルに以下を入力し実行    ```    $sudo apt update    $sudo apt upgrade    ```    注:上の```$```は皆さんが入力すべきものではなく、       Ubuntuターミナルにある$を指し      Pythonの対話モードなどで打ち込む場合と区別するための表記。    sudoはコマンドの頭につけることで管理者権限で実行する、という命令を意味します。      実行時に、Ubuntu用に設定したパスワードが要求されます      入力しても画面には表示されないので注意しながら打ち込んでEnterを押す。      (間違っても再度入力を求めてくれますし、やめたければCtrl+C)        aptはLinux(Debian系)のパッケージ管理システム      ※PCの時刻設定がきちんと行われていないと、aptのupdate/upgradeに失敗します。   * **手順5. Pythonのインストール**     Ubuntuには初めからPython3系が含まれていますが、      pythonの最新バージョンをpip込みでインストールしましょう。    ```    $sudo apt install python3-pip -y    ```    これでpython3.xの最新バージョンと、python用のパッケージマネージャpipがインストールされる* **手順6. ライブラリのインストール**     ライブラリ・モジュールをインストールしたければ    ```    $pip3 install matplotlib    $pip3 install pandas    $pip3 install Selenium    ```    などを実行する。  Windows環境のどこにLinuxのファイルが保存されるか ```C:\Users\XXX\AppData\Local\Packages\CanonicalGroupLimited.UbuntuonWindows_79rhkp1fndgsc\LocalState\rootfs```のXXX部分(や場合によってはドライブ部分C:)を皆さんの環境に置き換えたものが、  Windows内に構築されたLinuxのルートディレクトリ(最上位のディレクトリ)となります。  Ubuntuを開くと、rootfs以下のhomeディレクトリにログインした状態でターミナルが開きます。パスが上記と微妙に異なる場合は、  WindowsのユーザーフォルダからAppDataを開いて、  検索バーでUbuntuと検索すれば、  該当するディレクトリが見つけられるはずです。  (隠しフォルダを非表示にしていると見えないかも)Windows11の場合は適当なフォルダ(エクスプローラー)を開くと  左側にLinuxのペンギンマークがあるので、そこから参照できます。  Linux側からWindows側のファイルにアクセスする WindowsのディスクはLinuxからみた```/mnt/```以下にマウントされている。  たとえば、```/mnt/c/Users/[ユーザー名]/Downloads```で、Windows側のダウンロードフォルダのパスを指定できる。OneDriveによるバックアップに含まれているフォルダは、  デフォルトパスから、OneDriveの下に変更されていることがあるので注意。(例: デスクトップはLinuxから見ると```/mnt/c/Users/[ユーザー名]/Desktop```のはずだが、  デスクトップフォルダがOneDriveのバックアップ対象になっていると、  ```/mnt/c/Users/[ユーザー名]/OneDrive/Desktop```などと変更されてしまうので注意。)  WSLのバージョン確認と更新Windows10を使っていてMS Storeから導入した方で  GUIを伴う処理を行いたい場合、WSLのバージョンを2にする必要がある。以下の手順でバージョンを確認し、必要なら更新しよう1. スタートメニューからWindows PowerShellを開く2.  PowerShell上で下記のコマンドを入力し、バージョンを確認する    ```    > wsl --list --verbose    ```    出力結果をみてUbuntuのVERSIONが1になっている場合      更新を行おう    3. 更新のための前準備として、https://aka.ms/wsl2kernel    にアクセスし      x64 マシン用 WSL2 Linux カーネル更新プログラム パッケージをダウンロードする。      ダウンロードが終わったらパッケージを起動して、案内にしたがって実行する4.  PowerShellに戻り、   ```   wsl --set-version Ubuntu 2   ```   を実行しwslのバージョンを2に変更する(そこそこ時間がかかる)     WSL環境でMatplotlibのshow()などを使うWSL(今はUbuntu)では、そのままでplt.show()などの  ウィンドウを開くような操作が使えない。その場合はx11とtkinterを含むpython3をインストールしよう```$ sudo apt update$ sudo apt upgrde$ sudo apt install language-pack-ja$ sudo apt install x11-apps$ sudo apt install python3-tk```さらにXサーバ(以下ではVcXsrvを選びます)をインストールする:1. https://sourceforge.net/projects/vcxsrv/   からDownload2. ダウンロードしたものを実行    (デスクトップショートカットは無くても良い)    3. スタートメニューからXLaunchを実行         道なりに進んでAdditional parameters for VcXsrvの欄に-acを入力し進む4. "Save Configuration"を選択してショートカットを作成することで　次回以降同様の作業をしなくても良いようにできる```$xlogo```を実行するか、Pythonの対話環境の中で```import matplotlib.pyplot as pltfig = plt.figure()plt.show()```などとやってウィンドウが表示されればOK.  2-2.の方法 バックアップや起動ディスク等の知識なくデュアルブート環境を構築しようとすると  最悪の場合すべてのデータを失いますので、こちらを選ぶ場合は予め相談してください。Linux環境を構築をすれば、あとはLinuxを起動し、以下のLinuxの場合の手順に従うだけ。  Macの場合<jupyter_code>HTML(r'<iframe width="560" height="315" src="https://www.youtube.com/embed/X2FMQYpXtGY" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>')<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.1122086741781139, 'fraction_numerical': 0.01697792869269949, 'mean_word_length': 7.244274809160306, 'pattern_counts': {'":': 0, '<': 28, '<?xml version=': 0, '>': 25, 'https://': 7, 'lorem ipsum': 0, 'www.': 3, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 2, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '4', 'dir': 'jupyter-structured-clean-dedup', 'id': '538437', 'license': 'CC-BY-4.0', 'n_tokens_mistral': 4228, 'n_tokens_neox': 3824, 'n_words': 264, 'path': 'notebooks/Python_misc_python_environment.ipynb', 'repo_name': 'SotaYoshida/Lecture_DataScience-Basic-', 'size': '6479'}