同一批数据:直线平滑变化,树在阈值处换一档
拖动新样本的特征 x,观察两种模型怎样给它打分。黄色点是同一批训练样本;彩线才是模型预测。
线性模型 · OLS 示例
只给原始特征 x:不管 x 在哪里,预测都沿同一条直线平滑变化。Lasso 在这个输入下也仍是直线。
当前预测分数
非线性模型 · 决策树示例
树找到一个阈值:阈值左边用左叶分数,右边换成右叶分数。
当前预测分数
教学合成数据:一维连续分数回归;左图用最小二乘拟合一条直线,右图按平方误差选一个切分点、叶值取组内均值。横轴是特征 x,纵轴是预测分数,不是收益率。这里固定只输入原始 x;若另外构造 x² 等特征,线性模型也能表达弯曲关系。树的跳变是非线性的一种例子,并非所有非线性模型都会跳变。