LLM 大模型：核心概念、代表模型与训练方法

LLM 指大语言模型。它以大规模文本数据和深度神经网络为基础，可以完成文本生成、问答、翻译、摘要、分类、代码辅助等任务。

大模型的关键不只是“参数多”，还包括训练数据、模型结构、对齐方式、推理能力和使用方式。理解这些概念，可以帮助判断一个模型适合做什么，也能避免把所有能力都归结为“模型变大了”。

LLM 能做什么

大语言模型常见能力包括：

文本生成：生成文章、对话、说明文和脚本。
文本理解：提取信息、分类、摘要。
问答：根据问题生成回答。
翻译：在不同语言之间转换。
代码辅助：生成代码、解释代码、定位问题。
推理：在给定上下文中进行多步分析。

这些能力通常通过提示词触发。用户输入任务，模型根据上下文生成输出。

LLM 的发展路径

LLM 的发展可以分成几个阶段：

传统语言模型阶段：依赖规则或统计方法处理语言。
神经网络语言模型阶段：使用词向量和神经网络学习语言表示。
预训练模型阶段：通过大规模语料学习通用能力，再迁移到下游任务。
大语言模型阶段：参数规模、训练数据和任务泛化能力继续扩大。

图 1：LLM 的技术脉络

flowchart TD
  A["统计语言模型"] --> B["神经网络语言模型"]
  B --> C["Transformer 预训练模型"]
  C --> D["大语言模型"]
  D --> E["提示词使用"]
  D --> F["微调与对齐"]

大模型的主要类型

大模型不只包括语言模型。

类型	处理对象	典型任务
语言大模型	文本	问答、写作、摘要、翻译
视觉大模型	图像、视频	图像识别、检测、生成
多模态大模型	文本、图像、音频等	图文理解、多模态问答

语言大模型是当前最常见的讨论对象，但多模态能力正在把文本、图像和其他数据形式连接起来。

几个代表性开源模型方向

ChatGLM-6B

ChatGLM-6B 是面向中英文场景的开源对话模型，参数规模为 60 亿。它常被用于本地部署、中文问答和轻量级应用实验。

LLaMA

LLaMA 是 Meta AI 于 2023 年发布的基础语言模型系列，包含 7B、13B、33B、65B 等版本。它强调在不同参数规模下的训练效率和模型表现。

BLOOM

BLOOM 是由 BigScience 项目推动的开源多语言大模型，支持多种语言，常被用于多语言生成和研究场景。

Baichuan-7B

Baichuan-7B 是百川智能于 2023 年 6 月发布的开放且可商用的大型预训练语言模型。它支持中英双语，在约 1.2 万亿 token 上训练，参数规模为 70 亿。

大模型如何建立

训练一个大语言模型通常包括几个环节：

阶段	作用
数据收集和预处理	清洗文本、去重、过滤低质量数据
构建模型架构	选择 Transformer 等结构
预训练	在大规模语料上学习通用语言能力
微调	让模型适配特定任务或领域
评估	检查模型在任务上的表现
部署和优化	让模型能在真实环境中运行

训练过程需要大量计算资源和较长时间，也需要稳定的数据处理和评估体系。

Fine-Tuning：让模型适配任务

Fine-Tuning 通常翻译为微调。它会在预训练模型基础上，使用特定任务数据继续训练。

微调适合让模型更熟悉某个领域或任务，例如客服问答、法律文本分类、医学文本摘要等。

优点是适配效果直接；缺点是成本较高，也需要准备质量较好的训练数据。

Prompt-Tuning：调提示而不是全量改模型

Prompt-Tuning 的思路是通过可学习的提示向量引导模型输出，而不是更新模型所有参数。

这种方法适合参数规模很大的模型。它能减少训练成本，也方便在多个任务之间切换。

上下文学习和指令学习

上下文学习 In-Context Learning 指的是：模型不更新参数，只根据提示词中的示例和上下文完成任务。

指令学习 Instruction-Tuning 则是用大量“指令-回答”样本训练模型，让模型更习惯按照人类指令完成任务。

两者关注点不同：

方法	是否更新参数	重点
上下文学习	否	利用提示词中的示例
指令学习	是	让模型学会遵循指令

思维链提示

思维链 Chain-of-Thought 会引导模型分步骤处理问题。它常用于数学推理、逻辑分析和复杂问答。

对普通用户来说，重点不是让模型输出很长的推理，而是把复杂任务拆成更容易执行的步骤。

Prefix-Tuning

Prefix-Tuning 会在输入前加入一段可学习的前缀向量，通过调整前缀来影响模型输出。

它属于参数高效微调方法，适合在不改动大部分模型参数的情况下适配任务。

LoRA

LoRA 是 Low-Rank Adaptation 的缩写，中文常译为低秩适应。它通过在模型权重旁边加入低秩矩阵来完成适配，而不是直接更新全部参数。

LoRA 的优势是训练参数少、显存压力较低、适合多个任务快速切换。

图 2：几种适配方法的关系

flowchart TD
  A["预训练模型"] --> B["Fine-Tuning"]
  A --> C["Prompt-Tuning"]
  A --> D["Prefix-Tuning"]
  A --> E["LoRA"]
  B --> B1["更新较多参数"]
  C --> C1["学习提示向量"]
  D --> D1["学习前缀向量"]
  E --> E1["低秩矩阵适配"]

小结

LLM 的能力来自模型结构、训练数据、参数规模和后续适配方法的共同作用。

ChatGLM、LLaMA、BLOOM 和 Baichuan-7B 代表了不同开源模型方向。Fine-Tuning、Prompt-Tuning、Prefix-Tuning 和 LoRA 则提供了不同成本和效果之间的取舍。