机器学习基础 - 无监督学习 - 聚类与降维

机器学习基础 - 无监督学习 - 聚类与降维

一、引言

在机器学习的广阔领域中，无监督学习是一个重要的分支。与监督学习不同，无监督学习处理的数据没有明确的标签，它的目标是从数据中发现潜在的结构和模式。聚类和降维是无监督学习中两个核心的任务，它们在数据挖掘、图像识别、自然语言处理等众多领域都有着广泛的应用。本文将深入探讨聚类和降维的基本概念、常用算法，并通过R语言代码进行演示。

二、聚类

2.1 聚类的概念

聚类是将数据集中相似的数据点划分为不同的组或簇的过程。同一簇内的数据点具有较高的相似性，而不同簇之间的数据点则具有较大的差异性。聚类可以帮助我们发现数据的内在结构，进行数据探索和分析。

2.2 常用聚类算法 - K-Means

K-Means是一种最常用的聚类算法，它的基本思想是通过迭代的方式将数据点分配到K个不同的簇中，使得每个簇内的数据点到该簇中心点的距离之和最小。

以下是一个使用R语言实现K-Means聚类的示例代码：

# 生成示例数据
set.seed(123)
data <- data.frame(
  x = c(rnorm(30, mean = 0, sd = 1), rnorm(30, mean = 5, sd = 1)),
  y = c(rnorm(30, mean = 0, sd = 1), rnorm(30, mean = 5, sd = 1))
)
# 执行K-Means聚类，K = 2
kmeans_result <- kmeans(data, centers = 2)
# 可视化聚类结果
plot(data, col = kmeans_result$cluster, pch = 16, main = "K-Means Clustering")
points(kmeans_result$centers, col = 3, pch = 3, cex = 2)

在上述代码中，我们首先生成了一个包含两个簇的二维数据集。然后使用kmeans()函数执行K-Means聚类，指定簇的数量为2。最后，使用plot()函数可视化聚类结果，并标记出每个簇的中心点。

2.3 聚类评估

为了评估聚类的质量，我们可以使用一些指标，如轮廓系数（Silhouette Coefficient）。轮廓系数衡量了每个数据点与其所在簇的紧密程度以及与其他簇的分离程度，取值范围为[-1, 1]，值越接近1表示聚类效果越好。

以下是计算轮廓系数的代码：

library(cluster)
silhouette_score <- silhouette(kmeans_result$cluster, dist(data))
mean(silhouette_score[, 3])

三、降维

3.1 降维的概念

降维是指在尽可能保留数据信息的前提下，减少数据的特征数量。随着数据维度的增加，数据会变得更加稀疏，计算复杂度也会显著提高，这就是所谓的“维度灾难”。降维可以有效地缓解这个问题，同时也有助于数据的可视化和分析。

3.2 常用降维算法 - 主成分分析（PCA）

主成分分析（PCA）是一种最常用的线性降维算法，它通过找到数据的主成分来实现降维。主成分是数据的线性组合，它们是相互正交的，并且按照方差从大到小排列。

以下是一个使用R语言实现PCA的示例代码：

# 加载鸢尾花数据集
data(iris)
iris_data <- iris[, 1:4]
# 执行PCA
pca_result <- prcomp(iris_data, scale. = TRUE)
# 查看主成分的方差解释比例
summary(pca_result)
# 可视化前两个主成分
plot(pca_result$x[, 1], pca_result$x[, 2], col = iris$Species, pch = 16, 
     main = "PCA of Iris Dataset")

在上述代码中，我们首先加载了鸢尾花数据集，并选择了前四个特征。然后使用prcomp()函数执行PCA，设置scale. = TRUE表示对数据进行标准化处理。最后，我们查看了主成分的方差解释比例，并可视化了前两个主成分。

3.3 降维评估

评估降维效果的一个常用指标是重构误差，即降维后的数据重构回原始空间的误差。此外，我们还可以通过可视化降维后的数据来直观地评估降维效果。

四、总结

聚类和降维是无监督学习中非常重要的两个任务，它们可以帮助我们更好地理解和处理数据。通过本文的介绍和示例代码，相信你对聚类和降维有了更深入的了解。在实际应用中，我们可以根据具体的问题选择合适的算法和评估指标，以达到最佳的效果。