AI/LLM 技术写作者Akshay Pachaar 于7 月10 日在X 发表一份LLM 微调（fine-tuning）技术清单，列出15 种方法，累积917 次按赞、1,361 次书签收藏。 Akshay 描述这份清单是「若要自己动手客制化LLM，会优先学的技术组合」。以下依原始顺序整理，并补充每项技术的通用背景说明。

清单全貌：15 种微调技术的原始排序

Akshay 原始清单依序为：1. LoRA、2. QLoRA、3. Prefix Tuning、4. Adapter Tuning、5. Instruction Tuning、6. P-Tuning、7. BitFit、8. Soft Prompts、9. RLHF、10. RLAIF、11. DPO（Direct Preference Optimization）、12. GRPO（Group Relative Policy Optimization）、13. RLAIF with AI Feedback、14. Multi-Task Fine-Tuning、15. Federated Fine-Tuning。

参数效率微调（PEFT）：LoRA 家族与其变体

清单前8 项通常归类为「参数效率微调」（Parameter-Efficient Fine-Tuning, PEFT），特点是只更新少量参数就能达到接近全参数微调的效果。 LoRA（Low-Rank Adaptation）以低秩矩阵分解实现参数增量、记忆体需求低；QLoRA 是LoRA 的量化版本，原始论文示范在单张24GB 消费级GPU 上完成65B 模型微调。

Prefix Tuning、P-Tuning、Soft Prompts 属于「提示微调」家族—只调整输入层的可训练embedding，不动主网路权重；Adapter Tuning 在每层插入小型adapter 模组，适合多任务切换；BitFit 只更新偏置项（bias），是这批技术中参数更新量最小的方法。 Instruction Tuning 是广义概念，指用「指令-回应」格式资料训练，让模型学会遵循指示。

对齐训练与规模应用：RLHF、DPO、GRPO 与联邦微调

清单第9 到13 项属于对齐训练家族。 RLHF（Reinforcement Learning from Human Feedback）是ChatGPT 早期采用的方法，用人类偏好资料训练奖励模型再做强化学习；RLAIF 把人类回馈改为AI 回馈以降低成本；DPO 直接以偏好对做梯度优化，省去奖励模型训练；GRPO 由DeepSeek 于DeepSeekMath 论文提出，透过群体采样估计优势函数，后被DeepSeek R1 系列采用。

清单最后两项处理训练规模与资料分布。 Multi-Task Fine-Tuning 用多个任务资料同时训练提升泛化能力；Federated Fine-Tuning 让模型在多个装置上分散训练、资料不离开本地，适用于隐私敏感场景（医疗、金融）。

本文链接地址：https://www.wwsww.cn/rgzn/39896.html
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。