ID3决策树原理,决策树如何选择最优划分属性

ID3决策树原理,决策树如何选择最优划分属性

我们可以把决策树看成一个if-then规则的集合，将决策树转换成if-then规则的过程是这样的：由决策树的根结点(root node)到叶结点(leaf node)的每一条路径构建一条规则；路径上内部结点的决策树算法ID3算法原理：根据信息论的信息增益评估和选择特征设置信息增益阀值缺点：某个属性所取的不同值的个数越多，那么越有可能拿它来作为分裂属性不能处理连续分布的数据

目录一、本文的问题定义和（决策树中）信息熵的回顾① 本文的问题定义②（决策树中）信息熵的回顾二、ID3 决策树的原理及构造三、ID3 决策树归纳算法ID3: Information Gain: 又称信息获取量或是信息增益，将样本的所有属性分割开，分别计算，熵之和，信息增益就是二者的差值。简单理解就是，没有属性A时候的信息量-有A

来自王小猴<<机器学习实战>>学习总结(二)---决策树算法(https://zhuanlan.zhihu/p/29980400),他将原理说得很透彻形象，这里借鉴一下。1. 信息熵在决策树算法中，熵是一个非常非决策树(Decision Tree)简介1.1. 决策树的原理决策树是属于机器学习监督学习分类算法中比较简单的一种，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系

基本的决策树算法有三类，按时间顺序分别是：ID3、C4.5、CART。前两个是分类树，最后一个是回归树，我们一个一个来看。1. ID3 1.1 算法流程ID3算法在1986年由Quinlan提出，假设输入数ID3决策树算法原理ID3决策树算法的核心思想是选择每次划分时信息增益最大的特征作为决策节点。它采用自顶向下的贪心策略，递归地构建决策树。下面详细介绍ID3算法的原理。1