06线性回归衍生算法

目录：

ridge算法

lasso算法

elastic-Net算法?

from sklearn.linear_model import Ridge
from sklearn.linear_model import SGDRegressor, LinearRegression
from sklearn.linear_model import Lasso
import numpy as np

# 1. Ridge 岭回归

# 生成随机数据
X = np.random.rand(100, 5)
w = np.random.randint(1, 10, size=(5, 1))
b = np.random.randint(1, 100, size=1)
y = X.dot(w) + b + np.random.randint(1, 100)

# 使用 Ridge 岭回归模型
ridge = Ridge(alpha=0.1, solver='sag')
ridge.fit(X, y)

# 打印岭回归模型的系数和截距
print("Ridge 岭回归模型系数：", ridge.coef_)
print("Ridge 岭回归模型截距：", ridge.intercept_)

# 打印真实的 W 和 b
print('真实 W，b:', w, b)

# 使用 SGDRegressor 随机梯度下降算法
sgd = SGDRegressor(penalty="l2", alpha=0)
sgd.fit(X, y)
print('SDG 算法系数：')
print(sgd.coef_)
print('SDG 算法截距：')
print(sgd.intercept_)

# 2. Lasso 套索回归

# 使用 Lasso 套索回归模型
lasso = Lasso(alpha=0.5)
lasso.fit(X, y)

# 打印 Lasso 套索回归模型的系数和截距
print("Lasso 套索回归模型系数：", lasso.coef_)
print("Lasso 套索回归模型截距：", lasso.intercept_)

# 3. ElasticNet 弹性网络