NLP 基础 - 文本表示 - 词向量与词嵌入技术

PyTorch 《NLP 基础 - 文本表示 - 词向量与词嵌入技术》

一、引言

在自然语言处理（NLP）领域，文本表示是一个至关重要的环节。计算机无法直接理解人类语言中的文字信息，因此需要将文本转换为计算机能够处理的数值形式，词向量与词嵌入技术就是实现这一转换的关键手段。PyTorch 作为一个强大的深度学习框架，为词向量与词嵌入技术的实现提供了便捷的工具。本文将深入探讨基于 PyTorch 的词向量与词嵌入技术。

二、文本表示的传统方法及其局限性

2.1 独热编码（One - Hot Encoding）

独热编码是一种简单直接的文本表示方法。对于一个包含 $n$ 个不同单词的词汇表，每个单词都可以用一个长度为 $n$ 的向量来表示，其中只有对应单词索引位置的元素为 1，其余元素均为 0。

示例：假设词汇表为 [“apple”, “banana”, “cherry”]，那么 “apple” 的独热编码为 [1, 0, 0]，”banana” 为 [0, 1, 0]，”cherry” 为 [0, 0, 1]。

局限性：

• 向量维度高：随着词汇表的增大，向量维度会变得非常高，导致计算资源的浪费。
• 无法表示语义关系：独热编码无法体现单词之间的语义相似性，例如 “apple” 和 “banana” 都是水果，但它们的独热编码向量是正交的，没有任何语义关联。

2.2 词频 - 逆文档频率（TF - IDF）

TF - IDF 是一种用于信息检索与文本挖掘的常用加权技术。它综合考虑了单词在文档中的出现频率（TF）和在整个语料库中的稀有程度（IDF）。

计算公式：$TF - IDF(t, d) = TF(t, d) \times IDF(t)$，其中 $TF(t, d)$ 表示单词 $t$ 在文档 $d$ 中出现的频率，$IDF(t)=\log\frac{N}{df(t)}$，$N$ 是文档总数，$df(t)$ 是包含单词 $t$ 的文档数。

局限性：

• 仍然是稀疏表示：TF - IDF 向量通常也是高维稀疏的，不利于深度学习模型的处理。
• 缺乏语义信息：它主要关注单词的统计特征，而不能很好地捕捉单词之间的语义关系。

三、词向量与词嵌入技术

3.1 词向量的概念

词向量是将单词表示为低维实数向量的一种方法。通过这种表示，语义相似的单词在向量空间中会距离较近，从而能够更好地反映单词之间的语义关系。

3.2 词嵌入的原理

词嵌入是一种学习词向量的技术，它通过神经网络模型在大规模语料库上进行训练，使得模型能够自动学习到单词的语义表示。常见的词嵌入模型有 Word2Vec、GloVe 等。

3.3 Word2Vec

Word2Vec 是一种经典的词嵌入模型，它有两种训练模式：连续词袋模型（CBOW）和跳字模型（Skip - Gram）。

3.3.1 连续词袋模型（CBOW）

CBOW 模型的目标是根据上下文单词预测中心单词。例如，给定上下文 [“the”, “cat”, “on”, “the”]，预测中心单词 “mat”。

3.3.2 跳字模型（Skip - Gram）

Skip - Gram 模型则相反，它根据中心单词预测上下文单词。即给定中心单词 “mat”，预测其上下文单词 [“the”, “cat”, “on”, “the”]。

3.4 GloVe

GloVe（Global Vectors for Word Representation）是另一种流行的词嵌入方法。它结合了全局统计信息和局部上下文信息，通过构建词共现矩阵并进行矩阵分解来学习词向量。

四、使用 PyTorch 实现词嵌入

4.1 PyTorch 中的 nn.Embedding 层

nn.Embedding 是 PyTorch 中用于实现词嵌入的模块。它的主要作用是将单词的索引映射到对应的词向量。

示例代码：

import torch
import torch.nn as nn
# 定义词汇表大小和词向量维度
vocab_size = 1000
embedding_dim = 100
# 创建 Embedding 层
embedding = nn.Embedding(vocab_size, embedding_dim)
# 输入单词的索引
input_indices = torch.tensor([1, 2, 3], dtype=torch.long)
# 获取对应的词向量
embedded = embedding(input_indices)
print(embedded.shape)  # 输出: torch.Size([3, 100])

4.2 训练自定义词嵌入模型

下面是一个简单的示例，展示如何使用 PyTorch 训练一个简单的词嵌入模型：

import torch
import torch.nn as nn
import torch.optim as optim
# 定义一个简单的词嵌入模型
class SimpleEmbeddingModel(nn.Module):
    def __init__(self, vocab_size, embedding_dim):
        super(SimpleEmbeddingModel, self).__init__()
        self.embedding = nn.Embedding(vocab_size, embedding_dim)
    def forward(self, input_indices):
        return self.embedding(input_indices)
# 超参数设置
vocab_size = 1000
embedding_dim = 100
learning_rate = 0.01
num_epochs = 10
# 初始化模型、损失函数和优化器
model = SimpleEmbeddingModel(vocab_size, embedding_dim)
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=learning_rate)
# 模拟训练数据
input_indices = torch.randint(0, vocab_size, (100,), dtype=torch.long)
target_vectors = torch.randn(100, embedding_dim)
# 训练模型
for epoch in range(num_epochs):
    optimizer.zero_grad()
    outputs = model(input_indices)
    loss = criterion(outputs, target_vectors)
    loss.backward()
    optimizer.step()
    print(f'Epoch {epoch + 1}/{num_epochs}, Loss: {loss.item()}')

五、词向量与词嵌入技术的应用

5.1 文本分类

在文本分类任务中，词向量可以作为输入特征，通过深度学习模型（如卷积神经网络、循环神经网络等）进行分类。例如，将新闻文章的词向量输入到卷积神经网络中，判断文章所属的类别（如体育、娱乐、科技等）。

5.2 情感分析

词向量能够捕捉单词的情感信息，因此可以用于情感分析任务。通过对文本中的词向量进行处理，判断文本的情感倾向（如积极、消极、中性）。

5.3 机器翻译

在机器翻译中，词向量可以帮助模型更好地理解源语言和目标语言之间的语义关系，从而提高翻译的质量。

六、总结

词向量与词嵌入技术为自然语言处理带来了巨大的突破，使得计算机能够更好地理解和处理人类语言。PyTorch 提供了强大而便捷的工具，帮助我们实现和应用这些技术。通过不断地学习和实践，我们可以更好地利用词向量与词嵌入技术解决各种 NLP 问题。