大模型微调框架对比:LLaMA-Factory、ms-swift、Unsloth、Axolotl、TRL、TorchTune 怎么选

2024 年 3 月,一篇名为《LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models》的论文登上 ACL;同年 8 月,另一篇《SWIFT: A Scalable lightWeight Infrastructure for Fine-Tuning》被 AAAI 2025 收录。两个来自中国团队的开源微调框架,先后拿下顶会席位。到 2026 年年中,LLaMA-Factory 的 GitHub 星标已越过 6 万、被 Amazon、NVIDIA、阿里云先后集成进产品线,而 ms-swift 支持的模型数量突破 600+ 纯文本 + 400+ 多模态,成为全世界模型覆盖最广的训练框架之一。

微调(fine-tuning)这件事,正从一小撮算法工程师的手工活,变成"选个框架、填几行配置、点个按钮"的标准化流水线。但当可选项从一两个变成六七个,新的问题出现了:它们到底有什么不同?我的场景该用哪个?

这篇文章把当下最主流的六个开源微调框架——LLaMA-Factory、ms-swift、Unsloth、Axolotl、TRL、TorchTune——放到一起,讲清各自的定位、强项、短板,最后给出一张对比表和按场景的选型建议。

为什么"选框架"突然变成了一件要紧事

先说清楚一个前提:这六个框架,绝大多数底层都站在同一批"轮子"上——Hugging Face 的 Transformers、PEFT(参数高效微调)、TRL(强化学习对齐)、bitsandbytes(量化)、DeepSpeed / FSDD(分布式)。也就是说,它们做的事情本质相同:把预训练好的大模型,用你的数据再训练一遍,让它更懂你的任务。

既然底座相似,差异就落在了三个维度上:

2026 年的微调环境和两年前已经不同:基座模型更强,往往用更少的样本就能微调出好效果;量化感知训练成熟到 4-bit 微调的模型几乎能和全精度掰手腕。这意味着"能不能在一张消费级显卡上跑起来"不再是奢望,框架之间的体验差距反而被放大了。选对框架,省下的是显卡钱和调试时间。

下面逐个来看。

LLaMA-Factory:零代码 WebUI,新手友好度天花板

LLaMA-Factory(全称 Large Language Model Factory)由郑耀威(GitHub ID:hiyouga)团队主导,是目前"零代码微调"体验做得最完整的框架。它的招牌是内置的 LLaMA Board——一个基于 Gradio 的网页界面,选模型、传数据、调超参、点开始、看训练曲线,全程不用写一行代码。

对于不想碰命令行的用户,这几乎是唯一选择。而对愿意用 CLI 的人,它也把流程压缩到了三条命令:

# 训练、对话测试、导出合并
llamafactory-cli train examples/train_lora/qwen3_lora_sft.yaml
llamafactory-cli chat examples/inference/qwen3_lora_sft.yaml
llamafactory-cli export examples/merge_lora/qwen3_lora_sft.yaml

能力盘点(数据来自官方 README):

官方给出的一个基准:相比 ChatGLM 的 P-Tuning,LLaMA-Factory 的 LoRA 训练速度快达 3.7 倍,且在广告文案生成任务上 Rouge 分更高。

短板:超大规模多机多卡的成熟度不如 Axolotl,单卡极致性能略逊 Unsloth,官方文档仍标注 WIP(持续完善中)。但作为"什么都能干、上手最快"的通用型选手,它是大多数团队起步的安全牌。

ms-swift:模型最多、多模态最全的国产对手

如果说 LLaMA-Factory 是社区中立的通用工具,那么 ms-swift(ModelScope SWIFT)就是阿里 ModelScope 社区的官方军火库,也是 LLaMA-Factory 最直接的对标者。它的论文中稿 AAAI 2025,定位是"可扩展的轻量级微调基础设施"。

ms-swift 最硬的一张牌是覆盖广度:支持训练 / 推理 / 评估 / 量化 / 部署一体化,覆盖 600+ 纯文本大模型 + 400+ 多模态大模型,是目前模型数量最多的框架,尤其在多模态(MLLM)上覆盖最全——它自称是第一个系统性支持多模态大模型训练的框架。

关键能力:

短板:零代码体验不如 LLaMA-Factory 的 LLaMA Board 傻瓜化,更偏命令行 / 脚本;生态相对绑定 ModelScope 与通义体系。但如果你要做多模态、要上 Megatron 大规模并行、或本来就在阿里云 / 通义体系里,ms-swift 往往是更顺手的那一个。

Unsloth:单卡上的极致省显存与提速

Unsloth 的哲学和前两者完全不同——它不追求"什么都能干",而是把一件事做到极致:让 LoRA / QLoRA 微调尽可能快、尽可能省显存。

它的做法很硬核:手动推导反向传播步骤,把 PyTorch 模块用 Triton 内核重写,并优化 CUDA kernel。效果是官方与第三方测评反复提到的那组数字——相比标准 Hugging Face TRL 流程,训练快 2-5 倍、显存降 60-80%,让原本需要多卡的 70B 微调,在单张 24GB 的 RTX 4090 上也成为可能。

一句话:显卡不够、想在一张卡上榨出最大产出,先看 Unsloth。

Axolotl:多卡集群与完整 RLHF 的重装选手

Axolotl 在英文社区里是"团队 / 企业级"多卡训练的常客。它用 YAML 配置驱动,官方推荐配合 Docker,主打的是多 GPU 集群 + FSDP / DeepSpeed + 完整 RLHF 流水线。

如果你的团队跑的是多卡集群、需要严肃的分布式训练和对齐流水线,Axolotl 是英文生态里的默认答案之一。

TRL:Hugging Face 官方底座,很多框架站在它肩上

TRL(Transformer Reinforcement Learning)是 Hugging Face 官方维护的强化学习 / 对齐训练库,提供 SFT、DPO、PPO、GRPO 等训练器。严格说,它更像是"库"而不是"开箱即用的平台"——上面提到的好几个框架,底层的对齐训练能力都直接或间接依赖它。

TorchTune:PyTorch 血统的原生方案

TorchTune 是 PyTorch 官方推出的原生后训练库,主打"用纯 PyTorch、少抽象"的方式做微调。它的论文里明确把 Axolotl、Unsloth 作为对比对象,强调自己在多种设置下兼顾性能与显存效率,同时保持足够灵活以支持快速研究迭代。

横向对比一览

下面这张表把六个框架的关键差异拉平了看("易用性"指对新手的友好程度,非贬义):

框架 定位 易用性 模型覆盖 多卡/大规模 单卡省显存 中文/国产生态
LLaMA-Factory 零代码通用平台 ★★★★★(WebUI) 100+,前沿跟进快 中(已接 Megatron-core) 强(含 Unsloth 加速) 强
ms-swift 全能力国产军火库 ★★★(偏 CLI) 600+ 文本/400+ 多模态,最全 强(Megatron-SWIFT) 中 强(绑通义/ModelScope)
Unsloth 单卡极致提速省显存 ★★★★(notebook 友好) 主流家族为主,较窄 弱 ★★★★★ 中
Axolotl 多卡集群/RLHF 流水线 ★★(YAML+Docker) 广 ★★★★★ 中 中
TRL HF 官方对齐库/底座 ★★(写代码) 跟随 HF 生态 中 中 中
TorchTune PyTorch 原生后训练 ★★(写代码) 中 中高 中高 弱

说明:星级为相对定位的经验判断,会随各框架版本迭代变化;具体到你的模型和硬件,请以官方最新文档与实测为准。

按场景怎么选:一张决策图

与其记参数,不如对号入座:

微调框架选型决策图

一个务实的组合拳:用 LLaMA-Factory 或 ms-swift 做主力平台(覆盖全、上手快),在单卡吃紧时切到 Unsloth 加速(LLaMA-Factory 本身就集成了 Unsloth),大规模训练再上 Axolotl / Megatron-SWIFT。它们不是互斥的敌人,而是工具箱里的不同扳手。

国产双雄的正面对比:LLaMA-Factory vs ms-swift

因为这两个是问得最多的组合,单独拎出来对比:

结论不是"谁碾压谁",而是看你更看重什么:要极致易用和广泛背书选 LLaMA-Factory,要模型最全和多模态 / 大规模并行选 ms-swift。多数团队两个都装,按项目切换。

几个容易踩的坑

小结

微调框架的"战国时代",本质是把一件曾经很难的事拆成了不同的最优解:

没有"最好的框架",只有"最适合你当前场景的框架"。看清自己的三个坐标——易用性、资源、覆盖广度——答案自然浮现。而对国内团队来说,一个值得高兴的事实是:这场竞争里跑在最前面的两个(LLaMA-Factory 与 ms-swift),都来自中国团队。

免责声明

本文所述框架特性、模型数量、性能数据均整理自各项目官方 README、论文与公开测评(截至 2026 年 7 月),会随版本迭代变化,具体请以官方最新文档与你自己的实测为准。文中星级评价为相对定位的经验判断,不构成任何选型的唯一依据。文章不含任何商业推广或投资建议。

参考来源

相关阅读

🛒 京东 奢品心动购物季会场

京东大促进行中,超值好物等你来选

去京东看看 →

* 京东联盟推广链接,你不需要多花钱,我们获得小额佣金

🟠 淘宝 淘宝电脑办公精选

淘宝精选好物,超值优惠等你来抢

去淘宝看看 →

* 淘宝联盟推广链接,你不需要多花钱,我们获得小额佣金

🛒

推荐搭配装备

善其事,利其器。以下硬件能最大化你的AI体验👇

京东
⚡
MacBook Pro 14寸 M4 Pro
AI开发者首选笔记本,性能续航双优
¥15000-20000
淘宝
⚡
联想拯救者Y9000P 2026
AI开发游戏本,i9+RTX4070
¥9000-12000
🔵 京东 🟠 淘宝

🔗 通过以上链接购买可支持本站持续运营 🙏