【AI词典】PEFT参数高效微调 - 高效调整大模型参数的微调技术

PEFT参数高效微调：定义

PEFT（Parameter-Efficient Fine-Tuning，参数高效微调）是一系列旨在以极低训练成本，通过微调大型预训练模型中极小部分参数，使其高效适配下游任务的技术总称。其核心思想是在保持预训练模型主体参数“冻结”不变的前提下，仅引入或激活少量可训练参数，从而在获得与全参数微调相近性能的同时，大幅降低计算与存储开销。

PEFT参数高效微调的工作原理

可以将大型预训练模型想象成一个已经博览群书、知识渊博的学者。传统的全参数微调相当于要求这位学者为了学习一门新技能（如下游任务），把大脑里所有的知识都重新梳理和修改一遍，过程耗时耗力。而PEFT技术则提供了更巧妙的方案：它让学者保持其原有的庞大知识库基本不变，只是为他配备一个轻便的“智能笔记本”或几个“功能插件”。

具体而言，PEFT通过几种主流方法实现：其一，适配器（Adapter），在模型的层与层之间插入微小的、可训练的神经网络模块，仅训练这些“插件”；其二，前缀微调（Prefix Tuning）或提示微调（Prompt Tuning），在模型输入层或中间层添加一系列可学习的“虚拟提示词”向量，通过调整这些向量来引导模型输出；其三，低秩适应（LoRA），其假设模型在适配新任务时权重变化具有低秩特性，因此用两个低秩矩阵的乘积来模拟这种变化，仅训练这两个小矩阵。所有这些方法的共同点是，它们都绕过了对原始数十亿甚至万亿参数的直接更新，转而优化一个规模可能不足原模型0.1%的参数子集。

PEFT参数高效微调的应用场景

• 资源受限的模型部署与个性化：在消费级GPU或边缘设备上，用户无法承担全参数微调的计算成本。使用PEFT技术，可以高效地为不同用户或垂直领域（如法律、医疗文本理解）定制专属的大模型版本，实现“一基多专”。
• 快速任务迭代与实验：在AI研发中，研究人员需要针对同一模型在多个任务上进行快速实验和评估。PEFT允许他们为每个任务保存和切换仅几兆字节的“参数补丁”，而非保存多个完整的巨型模型副本，极大提升了实验效率。
• 多任务学习与灾难性遗忘缓解：当需要让一个基础模型连续学习多个任务时，全参数微调容易导致学会新任务后遗忘旧任务（灾难性遗忘）。PEFT可以为每个任务训练独立的、互不干扰的轻量级参数集，通过切换不同参数集来调用不同任务能力，有效保护了原有知识。

相关术语

与PEFT参数高效微调紧密相关的概念包括：微调（Fine-Tuning）、预训练语言模型（PLM）、低秩适应（LoRA）、适配器（Adapter）、提示工程（Prompt Engineering）、灾难性遗忘（Catastrophic Forgetting）以及迁移学习（Transfer Learning）。

延伸阅读

若希望深入了解PEFT，可查阅其里程碑式的综述论文《Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning》。此外，开源库如Hugging Face的PEFT库提供了LoRA、Prefix Tuning等主流方法的实践代码，是动手学习的优秀起点。对于希望理解其数学原理的读者，可以进一步研究低秩矩阵分解与模型内在维度相关的理论工作。