LLM 基础知识：从语言模型到大语言模型

LLM 是 Large Language Model 的缩写，中文通常叫大语言模型。它的基础仍然是语言模型，只是模型规模、训练数据和能力边界都比传统语言模型大得多。

理解 LLM，可以先从一个朴素问题开始：机器如何判断一句话接下来应该出现什么词？

语言模型在建模什么

语言模型的目标是建模词序列的概率。

给定一段已经出现的文本，模型会估计下一个词出现的可能性。例如：

今天天气很

后面出现“好”“热”“冷”的概率都可能比较高，出现“桌子”的概率就低很多。

更正式地说，语言模型要计算一个词序列的联合概率：

P(w1, w2, ..., wn)

通常会把它拆成条件概率：

P(w1, w2, ..., wn) = P(w1)P(w2|w1)...P(wn|w1...wn-1)

模型越能准确估计这些概率，就越能生成自然的文本。

从规则到统计

早期语言处理依赖人工规则。规则方法容易解释，但覆盖范围有限。语言变化太多，靠人工写规则很难穷尽。

统计语言模型开始用数据估计语言规律。它不再手写所有规则，而是从语料中统计词和词之间的关系。

这种方法让语言模型从“写规则”转向“学规律”。

图 1：语言模型的发展路径

flowchart TD
  A["规则方法"] --> B["统计语言模型"]
  B --> C["N-gram"]
  C --> D["神经网络语言模型"]
  D --> E["Transformer 预训练模型"]
  E --> F["大语言模型"]

N-gram 语言模型

N-gram 是经典统计语言模型。它假设一个词只和前面有限个词有关。

模型	含义	示例
Unigram	只看当前词自身概率	`P(wi)`
Bigram	当前词依赖前一个词	`P(wi \| wi-1)`
Trigram	当前词依赖前两个词	`P(wi \| wi-1, wi-2)`

例如 Bigram 会近似认为：

P(我 喜欢 自然 语言) ≈ P(我)P(喜欢|我)P(自然|喜欢)P(语言|自然)

N-gram 的优点是简单、直观、容易实现。问题也明显：上下文窗口太短，遇到没见过的词组合时容易出现数据稀疏。

数据稀疏和参数空间

统计语言模型会遇到两个典型问题。

第一，参数空间过大。词表越大，可能的词组合越多，需要估计的概率也越多。

第二，数据稀疏严重。很多词组合在训练语料里从没出现过，但真实语言中可能是合理表达。

N-gram 可以用平滑方法缓解这些问题，但很难从根本上解决语义理解和长距离依赖。

神经网络语言模型

神经网络语言模型用向量表示词。词不再只是离散符号，而是可以被映射到连续空间中。

这样做的好处是，语义相近的词可以有相近的向量表示。例如“猫”和“狗”可能比“猫”和“汽车”更接近。

神经网络语言模型可以学习更复杂的上下文关系，但早期模型在处理长文本和并行训练上仍然有限。

Transformer 预训练模型

Transformer 让语言模型更适合大规模训练。它通过注意力机制建模序列中不同位置之间的关系，可以并行处理输入，并捕捉较长距离的依赖。

预训练模型会先在大规模文本上学习通用语言规律，再根据任务进行微调或提示引导。

这种路线让模型从单一任务系统，逐渐变成可迁移到多种任务的通用模型。

大语言模型的特点

大语言模型通常具备几个特征：

参数规模更大。
训练数据更多。
能处理更复杂的语言任务。
具备一定的上下文学习能力。
可以通过提示词完成多类任务。

2020 年，OpenAI 发布 GPT-3，参数量达到 1750 亿，展示了大规模语言模型在文本生成、问答和少样本任务上的能力。

大语言模型的优势和限制

方面	说明
优势	文本生成自然，任务适应范围广，能利用上下文完成多类任务
限制	训练成本高，推理资源消耗大，可能生成错误内容

LLM 不是知识库本身。它会根据训练和上下文生成最可能的回答，因此关键场景仍需要人工验证。

术语速查

术语	解释
LM	Language Model，语言模型
LLM	Large Language Model，大语言模型
N-gram	基于前 N 个词估计概率的统计模型
数据稀疏	训练数据中缺少足够样本导致概率估计困难
Transformer	基于注意力机制的神经网络结构
预训练	在大规模数据上学习通用语言规律

小结

LLM 并不是凭空出现的技术。它从语言模型、统计方法、N-gram、神经网络语言模型一路发展而来。

传统模型关注局部词序关系，神经网络模型引入向量表示，Transformer 提升了并行训练和长距离建模能力。大语言模型则在规模、数据和任务泛化能力上进一步扩展。