多项式回归简介

　　考虑下面即将出现的数据,虽然我们可以使用线性回归来拟合这些数据,但是这些数据更像是一条二次曲线,相应的方程是 $y=ax^{2}+bx+c$ ,这是式子虽然可以理解为二次方程,但是我们呢可以从另外一个角度来理解这个式子:
　　如果将 $x^{2}$ 理解为一个特征,将 $x$ 理解为另外一个特征,换句话说,本来我们的样本只有一个特征$x$,现在我们把他看成有两个特征的一个数据集。多了一个特征 $x^{2}$,那么从这个角度来看, 这个式子依旧是一个线性回归的式子,但是从$x$的角度来看,它就是一个二次的方程。

　　以上这样的方式,就是所谓的多项式回归相当于我们为样本多添加了一些特征,这些特征是原来样本的多项式项,增加了这些特征之后,我们可以使用线性回归的思路来更好的处理我们的数据。

什么是多项式回归

数据来源

import numpy as npimport matplotlib.pyplot as plt# 生成100个数字  1*100np.random.seed(100)x = np.random.uniform(-3, 3, size=100)# 100*1X = x.reshape(-1, 1)# 一元二次方程y = 0.5 * x**2 + x + 2 +  np.random.normal(0, 1, 100)plt.scatter(x, y)plt.show()

线性回归拟合

# 线性回归线from sklearn.linear_model import LinearRegressionlin_reg = LinearRegression()lin_reg.fit(X, y)y_predict = lin_reg.predict(X)plt.scatter(x, y)plt.plot(x, y_predict, color='r')plt.show()

　　很明显,我们用一跟直线来拟合一根有弧度的曲线,效果是不好的

解决 :添加一个特征

# 原来所有的数据都在X中,现在对X中每一个数据都进行平方, 再将得到的数据集与原数据集进行拼接, 在用新的数据集进行线性回归from sklearn.linear_model import LinearRegressionlin_reg2 = LinearRegression()lin_reg2.fit(X2, y)X2 = np.hstack([X, X**2])y_predict2 = lin_reg2.predict(X2)plt.scatter(x, y)# 由于x是乱的,所以应该进行排序plt.plot(np.sort(x), y_predict2[np.argsort(x)], color='r')plt.show()

　　从上图可以看出,当我们添加了一个特征(原来特征的平方)之后,再从x的维度来看,就形成了 一条曲线,显然这个曲线对原来数据集的拟合程度是更好的

# 查看x的系数# 第一个系数是x前面的系数,第二个系数是x平方前面的系数 lin_reg2.coef_# [0.95406518 0.50130709]# 查看常数lin_reg2.intercept_# 1.8432063555039913

　　即该模型拟合的曲线为 $y=0.95406518x^{2}+ 0.50130709x+1.8432063555039913$

总结

　　多线性回归在机器学习算法上并没有新的地方,完全是使用线性回归的思路。他的关键在于 为原来的样本,添加新的特征。而我们得到新的特征的方式是原有特征的多项式的组合。 采用这 样的方式,我们就可以解决一些非线性的问题
　　与此同时需要主要,我们在上一章所讲的PCA是对我们的数据进行降维处理,而我们这一章所讲 的多项式回归显然在做一件相反的事情,他让我们的数据升维,在升维之后使得我们的算法可以更 好的拟合高纬度的数据

scikit-learn中的多项式回归和Pipeline

导入数据

import numpy as npimport matplotlib.pyplot as pltx = np.random.uniform(-3, 3, size=100)X = x.reshape(-1, 1)# X.shape  -->  (100, 1)y = 0.5 * x**2 + x + 2 + np.random.normal(0, 1, 100)# sklearn中对数据进行预处理的函数都封装在preprocessing模块下,包括之前学的归一化StandardScal erfrom sklearn.preprocessing import PolynomialFeatures# 最高次数2次poly = PolynomialFeatures(degree=2)poly.fit(X)X2 = poly.transform(X)# X2.shape  -->  (100, 3)

查看差别

print(X[:5, :])"""[[-1.55352926] [ 1.53422389] [-2.57530034] [ 1.30115235] [-1.34130485]]"""print(X2[:5, :])# 第一列是sklearn为我们添加的X^0的特征 # 第二列和原来的特征一样是X^1的特征 # 第三列是添加的X^2的特征 """[[ 1.         -1.55352926  2.41345318] [ 1.          1.53422389  2.35384294] [ 1.         -2.57530034  6.63217186] [ 1.          1.30115235  1.69299744] [ 1.         -1.34130485  1.7990987 ]]"""

绘制图形

from sklearn.linear_model import LinearRegressionlin_reg2 = LinearRegression() lin_reg2.fit(X2, y)y_predict2 = lin_reg2.predict(X2)plt.scatter(x, y)plt.plot(np.sort(x), y_predict2[np.argsort(x)], color='r')plt.show()

结果

print(lin_reg2.coef_)# [0.         0.95218822 0.48750701]print(lin_reg2.intercept_)# 2.0472357913665844

关于PolynomialFeatures

import numpy as npfrom sklearn.preprocessing import PolynomialFeaturesX = np.arange(1, 11).reshape(-1, 2)"""X.shape  -->  (5, 2)[[ 1  2] [ 3  4] [ 5  6] [ 7  8] [ 9 10]]"""poly = PolynomialFeatures(degree=2)poly.fit(X)X2 = poly.transform(X)"""X2.shape  -->  (5, 6)[[  1.   1.   2.   1.   2.   4.] [  1.   3.   4.   9.  12.  16.] [  1.   5.   6.  25.  30.  36.] [  1.   7.   8.  49.  56.  64.] [  1.   9.  10.  81.  90. 100.]]"""

我们可以看到,将5行2列的矩阵进行多项式转换后变成了5行6列

• 第一列是1 对应的是0次幂
• 第二列和第三列对应的是原来的x矩阵,此时他有两列一次幂的项
• 第四列是原来数据的第一列平方的结果
• 第六列是原来数据的第二列平方的结果
• 第五列是原来数据的两 列相乘的结果

可以想象如果将degree设置为3,那么将产生一下10个元素,即

$1,x_{1},x_{2},
x_{1}^{2},x_{2}^{2},x_{1}x_{2},
x_{1}^{3},x_{2}^{3},x_{1}^{2}x_{2},x_{1}x_{2}^{2},
\cdots$

也就是说PolynomialFeatures会穷举出所有的多项式组合