大模型微调实战手册：LoRA 从数据准备到模型评估的完整流程

引言：微调不是魔法，是工程

通用大模型像一个博览群书但样样不精的博学者。当需要它深入理解某个垂直领域时，微调就派上了用场。但很多人对微调有两个误解：一是觉得微调很难，需要大量 GPU 和工程团队。二是觉得微调是万能药，能解决所有模型问题。这两种看法都需要纠正。

第一章：微调 vs RAG——正确的选择

1.1 微调适合解决的问题

当模型需要统一输出格式和风格时，微调是最佳选择。例如客服话术统一为固定的开场白和结束语。当模型需要掌握专业术语和领域知识时，微调后的模型知道公司内部框架的命名规范和最佳实践。当输出格式必须严格遵循时，例如始终输出 JSON，微调可以解决。

1.2 不要用微调解决什么问题

事实查询类问题用 RAG 而不是微调。RAG 的数据更新只需修改文档库，微调需要重新训练。上下文记忆类问题用 prompt engineering 就能解决。

1.3 决策矩阵

一个快速判断的标准：场景是需要模型改变行为还是获取知识。改变行为用微调，获取知识用 RAG。微调适用于产出风格格式行为的约束。RAG 适用于知识事实上下文的补充。

第二章：LoRA 与 QLoRA 原理

2.1 LoRA 的工作机制

LoRA（Low-Rank Adaptation）不直接修改预训练权重。它的做法是在注意力层的权重矩阵旁插入两个低秩矩阵，训练时固定原始权重不变，只优化插入矩阵的参数。这两个矩阵的参数量只占原始模型的 0.1% 到 1%，大大降低了训练资源需求。

2.2 QLoRA 的进一步优化

QLoRA 在 LoRA 的基础上引入了 NF4 量化，把原始模型量化到 4-bit 精度，只有 LoRA 适配器保持在 FP16。这样 7B 模型在微调时的显存消耗从 28GB 降低到 6GB 到 8GB，意味着可以在消费级显卡上微调 7B 甚至 13B 的模型。

第三章：数据准备

3.1 数据集格式

推荐的数据格式是 JSONL，每行包含 instruction、input、output 三个字段。对于多轮对话场景使用 ShareGPT 格式，包含 messages 字段。

3.2 数据质量控制

数据集的质量比数量重要得多。500 条精心编写的高质量数据的效果远好于 5000 条从互联网自动采集的数据。质量检查包括：确保输出格式完全符合预期、每条数据的输出都经过人工验证、去除冲突的数据、检查是否有个人信息泄露。

3.3 数据增强策略

当数据量不足时可以通过适当增强来扩充：使用 LLM 生成相似的 instruction、对 output 进行同义词替换、改变 instruction 的表述方式但保持语义不变。

第四章：训练配置与执行

4.1 关键超参数

学习率设置 2e-4 作为起始值。LoRA rank 设置为 8 到 16，rank 越高表达能力越强但参数量也越大。LoRA alpha 设置为 16 到 32，控制权重缩放。batch_size 根据显存调整。训练 epoch 数设置为 3 到 5。

4.2 训练过程监控

训练过程中主要关注 Training Loss 持续下降是否正常，Validation Loss 降到最低点后是否开始回升（过拟合信号）。推荐使用 wandb 或 tensorboard 实时监控。

第五章：评估与部署

5.1 评估方法

微调后必须进行系统评估。常用方法是对比测试——在固定的 50 到 100 条测试数据上对比微调前后的输出。以及人工评分——让领域专家对输出进行 1 到 5 分的打分。

5.2 部署方式

微调产出的 LoRA adapter 权重文件通常只有几十 MB。部署时使用 transformers 库的 peft 模块加载 adapter 权重，或合并到基座模型转换为标准权重，或导出为 GGUF 格式供 Ollama 加载。

5.3 多 adapter 融合

多个 LoRA adapter 可以同时加载。比如同时加载一个风格纠正 adapter 和一个领域知识 adapter，通过调整它们的权重比例来得到不同的输出风格。

总结

微调是一个精准的手术工具，而不是万能药。明确哪些场景需要微调，哪些场景不需要，比掌握微调技术本身更重要。对于需要改变模型行为或输出方式的场景，LoRA 微调是目前成本最低、效果最稳定的方案。