<commit_before>---
layout:     post
title:      "xgboost算法介绍系列-2"
subtitle:   "分类决策树id3与c4.5介绍"
date:       2016-05-21 
author:     "wengjingda"
header-img: "img/post-bg-rwd.jpg"
catalog: true
tags:
    - 数据挖掘
    - 分类算法
    - 决策树
---

一、决策树简介
----------

　　** 决策树是指利用树图模拟决策过程的分类模型。**
    现想象一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话：

      女儿：多大年纪了？
      母亲：26。
      女儿：长的帅不帅？
      母亲：挺帅的。
      女儿：收入高不？
      母亲：不算很高，中等情况。
      女儿：是公务员不？
      母亲：是，在税务局上班呢。
      女儿：那好，我去见见。  

![这里写图片描述](http://img.blog.csdn.net/20160521171525363)

　　其中，分支节点都是数据的属性，而叶节点是数据的类。  
　　构造决策树的方法简单直观。当我们想要用机器学习的方法区构造这样一颗决策树的时候则需要考虑两个问题:  
　　（1）如何选择分支节点上的特征。  
　　（2）设置什么样的终止条件。  

二、ID3算法<commit_msg>daily update<commit_after>---
layout:     post
title:      "xgboost算法介绍系列-2"
subtitle:   "分类决策树id3与c4.5介绍"
date:       2016-05-21 
author:     "wengjingda"
header-img: "img/post-bg-rwd.jpg"
catalog: true
tags:
    - 数据挖掘
    - 分类算法
    - 决策树
---

一、决策树简介
----------

　　**决策树是指利用树图模拟决策过程的分类模型。**
    现想象一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话：

      女儿：多大年纪了？
      母亲：26。
      女儿：长的帅不帅？
      母亲：挺帅的。
      女儿：收入高不？
      母亲：不算很高，中等情况。
      女儿：是公务员不？
      母亲：是，在税务局上班呢。
      女儿：那好，我去见见。  

![这里写图片描述](http://img.blog.csdn.net/20160521171525363)

　　其中，分支节点都是数据的属性，而叶节点是数据的类。  
　　构造决策树的方法简单直观。当我们想要用机器学习的方法区构造这样一颗决策树的时候则需要考虑两个问题:  
　　（1）如何选择分支节点上的特征。  
　　（2）设置什么样的终止条件。  

二、ID3算法
{'fraction_non_alphanumeric': 0.1485884101040119, 'fraction_numerical': 0.05052005943536404, 'mean_word_length': 2.462724935732648, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '1988702', 'n_tokens_mistral': 978, 'n_tokens_neox': 1090, 'n_words': 74}