回归分析 - 逻辑回归 - 用于分类的逻辑回归

回归分析 - 逻辑回归 - 用于分类的逻辑回归

一、引言

在机器学习和统计学领域，回归分析是一类非常重要的方法。线性回归主要用于预测连续型变量的值，然而在很多实际问题中，我们需要对离散的类别进行预测，比如判断一封邮件是垃圾邮件还是正常邮件、判断一个肿瘤是良性还是恶性等。这时，逻辑回归（Logistic Regression）就派上了用场，它是一种广泛应用于分类问题的统计学习方法。

二、逻辑回归原理

1. 线性回归与逻辑回归的联系

线性回归的模型可以表示为 (y = \beta_0+\beta_1x_1+\beta_2x_2+\cdots+\beta_nx_n)，其中 (y) 是连续型的因变量。而逻辑回归是在线性回归的基础上，通过一个逻辑函数（也称为 Sigmoid 函数）将线性回归的输出值映射到 (0) 到 (1) 之间，从而实现分类的目的。

2. Sigmoid 函数

Sigmoid 函数的表达式为：(\sigma(z)=\frac{1}{1 + e^{-z}})，其中 (z=\beta_0+\beta_1x_1+\beta_2x_2+\cdots+\beta_nx_n)。Sigmoid 函数的图像是一个 S 形曲线，它将整个实数域映射到 ((0, 1)) 区间。当 (z) 趋近于正无穷时，(\sigma(z)) 趋近于 (1)；当 (z) 趋近于负无穷时，(\sigma(z)) 趋近于 (0)。

3. 分类决策

在二分类问题中，我们通常将 (\sigma(z)) 的值大于等于 (0.5) 的样本分类为正类（标记为 (1)），将 (\sigma(z)) 的值小于 (0.5) 的样本分类为负类（标记为 (0)）。

三、逻辑回归的损失函数和优化方法

1. 损失函数

逻辑回归使用对数损失函数（Log Loss），也称为交叉熵损失函数。对于单个样本 ((x_i, y_i))，其损失函数为：
(L(y_i,\hat{y}_i)=-y_i\log(\hat{y}_i)-(1 - y_i)\log(1-\hat{y}_i))
其中 (y_i) 是真实标签，(\hat{y}_i=\sigma(z_i)) 是预测的概率。

2. 优化方法

为了最小化损失函数，常用的优化方法是梯度下降法。梯度下降法通过不断迭代更新模型的参数 (\beta)，使得损失函数逐渐减小。

四、Python 代码演示

1. 导入必要的库

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

2. 生成数据集

# 生成一个二分类数据集
X, y = make_classification(n_samples=1000, n_features=2, n_informative=2, n_redundant=0, random_state=42)
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

3. 训练逻辑回归模型

# 创建逻辑回归模型
model = LogisticRegression()
# 训练模型
model.fit(X_train, y_train)

4. 模型预测和评估

# 预测测试集
y_pred = model.predict(X_test)
# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"模型准确率: {accuracy}")

5. 可视化结果

# 绘制训练集和测试集的散点图
plt.scatter(X_train[:, 0], X_train[:, 1], c=y_train, cmap='viridis', label='Training Data')
plt.scatter(X_test[:, 0], X_test[:, 1], c=y_pred, cmap='viridis', marker='x', label='Test Data')
# 绘制决策边界
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                     np.arange(y_min, y_max, 0.02))
Z = model.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.contourf(xx, yy, Z, alpha=0.3, cmap='viridis')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('Logistic Regression Classification')
plt.legend()
plt.show()

五、逻辑回归的优缺点

1. 优点

2. 缺点

六、结论

逻辑回归是一种简单而有效的分类方法，它在很多实际问题中都有广泛的应用。通过本文的介绍，我们了解了逻辑回归的原理、损失函数、优化方法，并通过 Python 代码演示了如何使用逻辑回归进行分类。同时，我们也了解了逻辑回归的优缺点，在实际应用中可以根据具体问题选择合适的模型。