关于机器学习：解释Graphviz输出以进行决策树回归


interpreting Graphviz output for decision tree regression

我很好奇Graphviz用于回归时决策树的节点中的value字段是什么。 我了解这是使用决策树分类时每个类别中被拆分分开的样本数，但是我不确定这对回归意味着什么。

我的数据有2维输入和10维输出。 这是我的回归问题的树形示例：

enter image description here

使用此代码生成并通过webgraphviz可视化

1
2
3
4
5
6
7
8
# X = (n x 2)  Y = (n x 10)  X_test = (m x 2)

input_scaler = pickle.load(open("../input_scaler.sav","rb"))
reg = DecisionTreeRegressor(criterion = 'mse', max_depth = 2)
reg.fit(X,Y)
pred = reg.predict(X_test)
with open("classifier.txt","w") as f:
    f = tree.export_graphviz(reg, out_file=f)

谢谢！

回归树实际作为输出返回的是最终在各个终端节点(叶)中的训练样本的因变量(此处为Y)的平均值；这些平均值显示为图片中名为value的列表，此处的长度均为10，因为您的Y是10维的。

换句话说，以树的最左侧终端节点(叶)为例：

  • 叶子由X[0] <= 0.675和X[1] <= 0.5的42个样本组成
  • 此休假的value列表中给出了这42个样本的10维输出的平均值，其长度的确为10，即Y[0]的平均值为-152007.382，Y[1]的平均值是-206040.675等，并且Y[9]的平均值是3211.487。

您可以通过预测一些样本(从您的训练或测试集开始，这无关紧要)并检查10维结果是否是上述末尾叶中描绘的4个value列表之一来确认这种情况。

此外，您可以确认，对于value中的每个元素，子节点的加权平均值等于父节点的各个元素。同样，使用最左边的两个终端节点(叶)的第一个元素，我们得到：

1
2
(-42*152007.382 - 56*199028.147)/98
# -178876.39057142858

即其父节点(中间级别中最左侧的节点)的value[0]元素。另一个示例，这一次是您的2个中间节点的前value个元素：

1
2
(-98*178876.391 + 42*417378.245)/140
# -0.00020000000617333822

再次与您的根节点的-0.0第一个value元素一致。

从根节点的value列表来看，似乎10维Y的所有元素的平均值几乎为零，您可以(并且应该)手动进行验证，以作为最终确认。

因此，总结一下：

  • 每个节点的value列表包含"属于"相应节点的训练样本的平均Y值
  • 此外，对于终端节点(叶)，这些列表是树模型的实际输出(即，输出始终是这些列表之一，具体取决于X)
  • 对于根节点，value列表包含整个训练数据集的平均值Y值