<commit_before>{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* 決定木分類器：意味解釈可能性に配慮する場合に魅力的\n",
    "* 意味解釈可能性：interpretability. 得られた結果の意味を解釈しやすいかどうか"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}
<commit_msg>modify<commit_after>{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* 決定木分類器：意味解釈可能性に配慮する場合に魅力的\n",
    "* 意味解釈可能性(interpretability):得られた結果の意味を解釈しやすいかどうか\n",
    "* 情報利得(Information gain):分割された集合の要素についてのばらつきの減少\n",
    "* 葉が純粋になる：分割されたデータのばらつきの減少がなくなる（=IGが最大）\n",
    "* 目的関数は情報利得を最大化するようにする\n",
    "\n",
    "$$ IG(D_p,f) = I(D_p)- \\sum_{i=1}^m \\frac{N_j}{N_p}I(D_j) $$\n",
    "\n",
    "* \\\\( f \\\\):分割を行う特徴量\n",
    "* \\\\( D_p \\\\):親ノードのデータセット\n",
    "* \\\\( D_j \\\\):j番目の子ノードのデータセット\n",
    "* \\\\( I \\\\):不純度(ノードに異なるクラスのサンプルがどの程度の割合で混ざっているかを表す指標)\n",
    "* \\\\( N_p \\\\):親ノードのサンプルの総数\n",
    "* \\\\( N_j \\\\):j番目の子ノードのサンプルの個数\n",
    "* 子ノードの不純度が低いほど情報利得は大きくなる\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}

{'fraction_non_alphanumeric': 0.2434685936631462, 'fraction_numerical': 0.010561423012784881, 'mean_word_length': 3.017857142857143, 'pattern_counts': {'":': 42, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '7384392', 'n_tokens_mistral': 1038, 'n_tokens_neox': 1006, 'n_words': 103}