决策树,随机森林中的多重共线性问题
 案例分析面试常见题?
 对于线性回归模型,数据中是不能有多重共线性的.我想知道如果使用决策树或者随机森林或者其他一些基于树的模型,数据中的多重共线性的现象对模型有没有什么影响?
 您确定要删除本贴么?所有相关回复也会被一并删除并且无法恢复.
 但是数据的解释性会被多重共线性影响.随机森林可以返回特征的重要性(importantce),当有多重共线性时,importance会被影响.一些具体多重共线性的特征的重要性会被相互抵消,从而影响我们解释和理解特征.
 比如说,特征A和B完全一样,我们在用随机森林时,它们的重要性应该非常接近(考虑到随机性).如果我们在训练前删除特征B,那么特征A的重要性就会翻番.这一下子就影响了我们对特征,数据的理解.
 您确定要删除本贴么?所有相关回复也会被一并删除并且无法恢复.
 多重共线性的特征不会对决策树,随机森林的预测能力有影响.
 多重共线性最极端的情况是有两个完全一样的特征,特征A和特征B.当特征A被使用之后,决策树不会再选择使用特征B,因为特征B并没有增加新的有效信息.同理,如何决策树先选择了使用特征B,那么特征A也不会再被使用.
 所以基于树的模型不会收到多重共线性的影响.
 SofaSofa数据科学社区DS面试题库 DS面经
 ×
 Warning
 您确定要删除本贴么?所有相关回复也会被一并删除并且无法恢复.
 取消
 确定删除
 waccam 2017-11-08 12:38
 6
 参考这个实验英文原文
 如果没时间看的话,我可以直接告诉你结论,多重共线性不影响random forest的预测能力.
 SofaSofa数据科学社区DS面试题库 DS面经
 ×
 Warning
 您确定要删除本贴么?所有相关回复也会被一并删除并且无法恢复.
 取消
 确定删除
 sasa 2017-11-08 11:04
 我知道答案 点击下方 可插入编程代码;用美元符号插入$\LaTeX$公式
 请问针对Adaboost,GBDT等集成学习同一个特征是否可以入模多次? 1回答
 lightgbm怎么处理分类变量? 2回答
 怎么得到randomforestregressor里每棵树的预测结果? 1回答
 决策树算法ID3,C4.5和CART的特点,异同? 3回答
 请教lightGBM中的level wise具体计算步骤是怎样的? 1回答
 gbdt为什么需要泰勒公式展开进行节点分裂计算 2回答
 Adaboost里的树有没有可能权重是负数? 1回答
 python sklean中的决策树是用的哪一种决策树算法? 2回答
 回答问题时需要注意什么?
 我们谢绝在回答前讲"生动"的故事.
 我们谢绝"这么简单,你自己想","书上有的,你认真看"这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票.
 我们谢绝答非所问.
 我们谢绝自己不会,硬要回答.
 我们感激每一个用户在编写答案时的努力与付出!