id3算法 info,infomap算法

BOW算法 2023-11-09 21:43 227 墨鱼

BOW算法

id3算法 info,infomap算法

1、ID3 算法ID3 算法是决策树的经典构造算法，内部使用信息熵和信息增益来进行构建，每次迭代算则信息增益最大的特征属性作为分割属性。优点：决策树构建速度快，实现简单。缺点：计算ID3算法计算每个属性的信息增益，并选取具有最高增益的属性作为给定集合的测试属性。对被选取的测试属性创建一个节点，并以该节点的属性标记，对该属性的每个值创建一个分支据此划分样

definfo_gain(x,y):"""计算信息增益，ID3算法使用：param x: 一个一维列表或数组：param y: 一个一维列表或数组：return: 返回信息增益"""returnentropy(y)-con_entCART算法：https://blog.csdn.net/weixin_43216017/article/details/87617727 决策树的剪枝：https://blog.csdn.net/weixin_43216017/article/details/87534496

return-1returnnp.argmax(info_gain)defsplit_dataset(dataset,labels,feat,feat_value):# 把数据集中特征feat值= feat_value的样本单独提取出来sub_dataset=ID3算法是由Quinlan首先提出的。该算法是以信息论为基础，以信息熵和信息增益度为衡量标准，从而实现对数据的归纳分类。以下是一些信息论的基本概念：定义1：若存

用熵来辅助构建决策树——ID3 算法要构建一棵决策树，可以递归地实现。首先，选择一个属性放在根Info收入(D) Gain(收入) = Info(D) - Info收入(D)= 0.940 - 0.911 = 0.029 确定第一次分裂的属性：按学生划分是学生的有7个，其中1个为“否”不是学生的有7个，其中4个为“否”In

后台-插件-广告管理-内容页尾部广告（手机）

标签： infomap算法