LlamaFactory Blog

用 llamafactory-sft Skill 进行 LlamaFactory 微调

Fri, 26 Jun 2026 10:43:52 +0800

用 llamafactory-sft Skill 进行 llamafactory 微调

本文用一个教程式 Notebook 展示如何通过 llamafactory-sft skill，让智能体辅助完成一次 LlamaFactory SFT 微调流程。我们不会深入讲解所有训练参数，而是展示 skill 如何把一次微调任务拆成可确认、可追踪、可复现的步骤。

本教程使用一个轻量示例：基于 Qwen3.5-2B 模型，使用 LlamaFactory 内置数据集完成一次 LoRA SFT，并在训练后进行效果验证与模型导出。

1. 环境准备

本教程实验硬件与软件环境，本教程在AMD Radeon W7900上进行操作，同样的操作也适用于Nvidia GPU

项目	配置
GPU	AMD Radeon PRO W7900
ROCm	`7.2.1`
Agent	Cursor

首先安装 LlamaFactory：

git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git
cd LlamaFactory
pip install -e .
pip install -r requirements/metrics.txt

检查安装是否成功：

`1`	`llamafactory-cli version`

如果输出 LlamaFactory 版本信息，说明环境准备完成。

LlamaFactory x MindSpore HyperParallel 社区协作路标

Mon, 30 Mar 2026 15:42:54 +0800

昇思社区 · HyperParallel 超节点并行库

文档版本：v1.0 | 更新日期：2026-03-30

项目愿景

HyperParallel 是 昇思社区 新提出的超节点并行训练架构，致力于简化昇腾超节点编程，释放算力潜能。我们希望协同 LlamaFactory 生态提供易用、高性能的分布式训练解决方案。我们的目标是让每一位开发者都能在 Ascend NPU 和 NVIDIA GPU 上高效训练大模型，降低大模型训练的门槛和成本。

本路线图概述了 LlamaFactory 与 MindSpore HyperParallel 社区协作的发展方向，涵盖并行能力扩展、硬件优化、后端支持等多个维度。

路线图总览

2026 Q2                    2026 Q3                    2026 Q4
    │                          │                          │
    ▼                          ▼                          ▼
┌─────────────┐          ┌─────────────┐          ┌─────────────┐
│  Phase 1    │          │  Phase 2    │          │  Phase 3    │
│  能力扩展    │   ───►   │  硬件深化     │   ───►   │  后端多元    │
└─────────────┘          └─────────────┘          └─────────────┘
    │                          │                          │
    ├─ TP/EP/CP混合并行         ├─ 高维TP等优化              ├─ MindSpore后端扩展
    ├─ 更多模型泛化              ├─ HyperMPMD三层并行        ├─ 图算融合组件优化
    └─ 更大模型规模              └─ HyperOffload UD链卸载    └─ 更多训练阶段支持

Phase 1: 并行能力扩展 (2026 Q2)

目标：扩展 TP（张量并行）/EP（专家并行）/CP（上下文并行）等多维混合并行能力，支持更大规模模型训练。

特性	描述	优先级	状态
TP-EP 混合并行	支持 MoE 模型的 TP+EP 组合并行策略	P0	验证中
CP 长序列支持	支持上下文并行，突破显存限制训练超长序列	P0	验证中
3D 并行 (DP-TP-PP)	完整的三维混合并行支持，适配千亿级参数模型	P1	验证中
昇腾亲和Offload策略	提供NPU亲和的多级智能显存卸载策略	P2	开发中

技术要点：

使用 MindSpore HyperParallel 在昇腾上进行 LlamaFactory FSDP2 训练

Tue, 24 Mar 2026 10:00:00 +0800

LlamaFactory + MindSpore HyperParallel

我们将 MindSpore 社区的并行训练 HyperParallel 作为 FSDP2 后端集成到 LlamaFactory，支持昇腾 NPU 和 NVIDIA GPU，用户只需在 FSDP2 工作流上添加一行配置即可启用。

快速开始

1. 环境安装

pip

# 安装 HyperParallel
git clone https://gitcode.com/mindspore/hyper-parallel
cd hyper-parallel
pip install -e .

# 安装 LlamaFactory
git clone https://github.com/hiyouga/LlamaFactory.git
cd LlamaFactory
pip install -e ".[torch,metrics]" --no-build-isolation

# 安装 PyTorch
pip install torch==2.7.1 torchvision==0.22.1 torchaudio==2.7.1

# 可选：安装 torch-npu 以支持昇腾 NPU
pip install torch-npu==2.7.1

2. 配置

HyperParallel 训练需要两个配置文件：Accelerate FSDP2 配置和 LlamaFactory 训练配置。

使用 LlamaFactory 微调最新一代 Qwen3.5 模型辨别人形机器人型号

Tue, 03 Mar 2026 16:41:05 +0800

2026年伊始，从美国拉斯维加斯消费电子展（CES）到中国春晚，中国自主研发的人形机器人频频“破圈”，多家中国企业的产品和应用不仅在海外业界引发热议，更是在全球社交媒体平台和国际媒体不断“刷屏”。具身智能，被视为人工智能发展的下一阶段，其核心在于实现智能“大脑”与物理“身体”的深度耦合，从而将数据、算法与算力直接转化为改造客观世界的行动能力。而人形机器人，因其与人类相似的外形和功能，被视为具身智能的高阶形态和最佳载体，有望成为继智能手机、新能源汽车之后的新一代超级终端。

LlamaFactory 是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过 Web UI 界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架之一，GitHub 星标将近 7 万。

通义千问团队开源了新一代多模态大模型 Qwen3.5，本教程将聚焦于如何利用开源的 Qwen3.5-9B 模型，借助 LlamaFactory 这一开源低代码大模型微调框架，针对“辨别人形机器人型号”这一具体任务进行微调。我们希望通过这一实践，展示轻量化大模型如何赋能具身智能应用，让机器人不仅“看得见”，更能“看得懂”，从而为这场正在席卷全球的智能革命，贡献一份来自开源社区的实践力量。

运行环境要求

建议 GPU 显存不低于 32 GB

1. 安装 LlamaFactory

拉取 LlamaFactory 到本地

1
2

git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git
cd LlamaFactory

安装 LlamaFactory 环境依赖

`1`	`pip install -e .`

[可选] 可以安装 flash-linear-attention 获得训练推理加速效果。推荐使用源码安装方式，不推荐使用 PyPI 安装，可能会导致性能衰退，安装命令如下：

1
2

# uninstall both packages first to ensure a successful upgrade
pip uninstall fla-core flash-linear-attention -y && pip install -U git+https://github.com/fla-org/flash-linear-attention

运行如下命令，如果显示 LlamaFactory 的版本，则表示安装成功。

Qwen3-VL 模型相关问题

Mon, 05 Jan 2026 15:42:25 +0800

这篇博客关注 Qwen3-VL 模型的几个小问题，并给出相应的问题原因和解决办法。

1 Qwen3-VL 模型训练推理速度慢

问题：一些帖子和 issues 提到，在 torch=2.9 并且使用 Conv3D 的情况下，Qwen3-VL 的训练推理速度相较于 torch=2.8 有大幅退化，参考 https://github.com/pytorch/pytorch/issues/166122 。

1.1 检查 kernel 调用区别

首先分别在 torch=2.8 和 torch=2.9 两个版本下测试了 Conv3D 的 cuda 调用，测试代码如下：

import torch
import torch.nn as nn

class Glm4vVisionPatchEmbed(nn.Module):
    def __init__(
        self,
        patch_size: int = 14,
        temporal_patch_size: int = 1,
        in_channels: int = 3,
        hidden_size: int = 1536,
    ) -> None:
        super().__init__()
        self.patch_size = patch_size
        self.temporal_patch_size = temporal_patch_size
        self.hidden_size = hidden_size

        kernel_size = (temporal_patch_size, patch_size, patch_size)
        self.proj = nn.Conv3d(
            in_channels,
            hidden_size,
            kernel_size=kernel_size,
            stride=kernel_size,
            bias=True,
        )

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        L, C = x.shape
        x = x.view(L, -1, self.temporal_patch_size, self.patch_size, self.patch_size)
        x = self.proj(x).view(L, self.hidden_size)
        return x

net = Glm4vVisionPatchEmbed(
    patch_size=14,
    temporal_patch_size=2,
    in_channels=3,
    hidden_size=1536,
)

net = net.to('cuda').bfloat16()

x = torch.randn(8192, 14 * 14 * 3 * 2).to('cuda').bfloat16()
y = net(x)
print(y.shape)

with torch.cuda.nvtx.range("Glm4vVisionPatchEmbed"):
    y = net(x)

torch.cuda.synchronize()

执行如下命令，可以得到 cuda 内核调用信息

KTransformers 联合 LLaMA-Factory 进行 RL-DPO 训练

Tue, 23 Dec 2025 15:51:07 +0800

本教程演示了如何使用 LLaMA-Factory 框架，通过直接偏好优化（Direct Preference Optimization，DPO） 对语言模型进行微调。DPO 是一种基于人类偏好来训练模型的方法，能够使模型输出更加对齐人类期望，更加以用户为中心。

1 环境配置

软硬件要求：CPU 支持 AMX，系统的 glibc 版本大于等于 2.32，建议 GPU 显存大于等于 32G。

Step 1: 创建 KTransformers 的 conda 环境

conda create -n Kllama python=3.12 # choose from : [3.11, 3.12, 3.13]
conda activate Kllama
conda install -y -c conda-forge libstdcxx-ng gcc_impl_linux-64
conda install -y -c nvidia/label/cuda-12.8.0 cuda-runtime

Step 2: 安装 LLaMA-Factory

1
2
3

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]" --no-build-isolation

Step 3: 安装 KTransformers

Option 1: 从 https://github.com/kvcache-ai/ktransformers/releases/tag/v0.4.4 下载并安装与 Torch 和 Python 版本相匹配的 KTransformers wheel 包。

添加 Special Tokens 训练模型

Wed, 17 Dec 2025 14:13:17 +0800

1 引言

本文使用 Ministral-3-3B-Instruct-2512 模型通过 SFT 一个图像分类任务为例来介绍如何添加新的 special tokens。实验的运行命令为：

# install newest transformers
pip install git+https://github.com/huggingface/transformers

DISABLE_VERSION_CHECK=1 CUDA_VISIBLE_DEVICES=7 python src/train.py examples/train_lora/ministral3_lora_sft.yaml

需要预先配置好 ministral3_lora_sft.yaml。

2 数据集加载和预处理

LLaMA-Factory/src/llamafactory/data/loader.py 这个文件下的 get_dataset 函数完成数据集的加载，并且使用 tokenizer 预处理数据。

2.1 数据加载

下面的代码是 LLaMA-Factory/src/llamafactory/data/loader.py:get_dataset 函数的一部分，完成数据的读取并且转换数据格式。

# Load and preprocess dataset
with training_args.main_process_first(desc="load dataset", local=(not data_args.data_shared_file_system)):
    dataset = _get_merged_dataset(data_args.dataset, model_args, data_args, training_args, stage)
    eval_dataset = _get_merged_dataset(
        data_args.eval_dataset,
        model_args,
        data_args,
        training_args,
        stage,
        return_dict=data_args.eval_on_each_dataset,
    )

加载的数据放在 dataset 里面，并且格式转变为如下，例如：

在 LLaMA-Factory 上适配新模型

Fri, 12 Dec 2025 21:13:00 +0800

1 模型适配概述

LLaMA-Factory 提供了一整套模型预训练，微调，推理的框架，如果需要适配新模型，只需要修改少量代码就可以让模型融入 LLaMA-Factory 当中。

首先 LLaMA-Factory/src/llamafactory/extras/constants.py 文件定义了支持的模型组及其对应的 template。template 是在构建输入给大模型（prompt）时，用来规定对话格式、字段结构、角色顺序、工具调用格式的“格式规范器”。例如

register_model_group(
    models={
        "Vicuna-v1.5-7B-Chat": {
            DownloadSource.DEFAULT: "lmsys/vicuna-7b-v1.5",
            DownloadSource.MODELSCOPE: "Xorbits/vicuna-7b-v1.5",
        },
        "Vicuna-v1.5-13B-Chat": {
            DownloadSource.DEFAULT: "lmsys/vicuna-13b-v1.5",
            DownloadSource.MODELSCOPE: "Xorbits/vicuna-13b-v1.5",
        },
    },
    template="vicuna",

template 也需要在 LLaMA-Factory/src/llamafactory/data/template.py 完成相应的注册，模版的命名可以比较自由，只要保证 constants.py 使用的是对应的模版名即可，模版定义如下：

register_template(
    name="ministral3",
    format_user=StringFormatter(slots=["[INST]{{content}}[/INST]"]),
    format_system=StringFormatter(slots=["{{content}}\n\n"]),
    format_function=FunctionFormatter(slots=["[TOOL_CALLS]{{content}}", {"eos_token"}], tool_format="mistral"),
    format_observation=StringFormatter(slots=["""[TOOL_RESULTS]{"content": {{content}}}[/TOOL_RESULTS]"""]),
    format_tools=ToolFormatter(tool_format="mistral"),
    format_prefix=EmptyFormatter(slots=[{"bos_token"}]),
    template_class=Llama2Template,
    mm_plugin=get_mm_plugin(name="pixtral", image_token="[IMG]"),
)

register_template 完成模版的注册，上面这个模版完成了 user, system 等的格式化器的创建，这些格式化器的入参需要参考这个模型的 chat_template.jinja 文件，从 chat_template.jinja 文件获取到 slots 参数。上述模版还创建了 mm_plugin 插件，这个参数用于适配多模态模型的输入，例如音频，视频，get_mm_plugin 得到 LLaMA-Factory/src/llamafactory/data/mm_plugin.py 文件下注册的多模态插件。

LLaMA Factory 项目代码指南

Fri, 05 Dec 2025 21:13:00 +0800

1 LLaMa-Factory 项目简介

LLaMA-Factory 是一个面向大语言模型（LLM）的高效训练与微调框架，专为简化 LLaMA 系列以及各类开源大模型的训练流程而设计。它以“开箱即用、灵活高效”为核心理念，提供从数据准备、参数高效微调（PEFT）、训练配置管理到模型部署的一站式解决方案。

LLaMA-Factory 支持多种主流模型架构（如 LLaMA、Qwen、Gemma、Mistral 等），并集成了 LoRA、QLoRA、AdaLoRA、Prompt Tuning 等多种轻量化训练技术，使开发者能够以极低成本在单卡或多卡环境下完成高质量模型微调。

该框架提供直观易用的命令行工具与 Web UI，适配从科研实验到生产级应用的多场景需求。通过结构化的配置体系、完善的训练监控以及可扩展的数据加载管线，LLaMA-Factory 让大模型训练变得更加透明、可控且易于维护。

2 项目目录结构

LLaMA-Factory
├── assets                      # 项目静态资源（图标、示例图片、赞助商信息等）
│   ├── sponsors                # 赞助商Logo与展示资源
│   └── thirdparty              # 第三方依赖或引用资源
│
├── data                        # Demo 数据与示例数据集
│   └── mllm_demo_data          # 多模态LLM（MLLM）演示数据
│
├── docker                      # Docker 环境配置（CUDA/NPU/ROCm 等）
│   ├── docker-cuda             # NVIDIA GPU 环境 Dockerfile
│   ├── docker-npu              # 华为 Ascend NPU 训练环境
│   └── docker-rocm             # AMD ROCm 训练环境
│
├── examples                    # 训练、推理、工具使用的完整示例脚本
│   ├── accelerate              # accelerate 分布式训练示例
│   ├── ascend                  # 华为 Ascend NPU 示例
│   ├── deepspeed               # DeepSpeed 训练配置与示例
│   ├── extras                  # 各类高级特性示例（如 fp8、Galore、LoRA+ 等）
│   │   ├── adam_mini           # Adam mini 参数优化示例
│   │   ├── apollo              # Apollo 优化器示例
│   │   ├── badam               # BAdam 优化器示例
│   │   ├── dft                 # DFT 训练示例
│   │   ├── fp8                 # FP8 训练示例
│   │   ├── fsdp_qlora          # FSDP + QLoRA 示例
│   │   ├── galore              # GaLore低秩优化示例
│   │   ├── llama_pro           # LLaMA-Pro 示例
│   │   ├── loraplus            # LoRA+ 示例
│   │   ├── mod                 # MOD 技术示例
│   │   ├── multi_tokens        # 多Token生成实验示例
│   │   ├── muon                # Muon 优化器示例
│   │   ├── nlg_eval            # 文本生成质量评测示例
│   │   ├── oft                 # OFT 微调示例
│   │   ├── pissa               # PiSSA 权重重参数方法示例
│   │   └── qoft                # QOFT 示例
│   ├── inference               # 推理脚本示例（Chat、工具调用等）
│   ├── kt_optimize_rules       # KTO 规则示例（奖励建模优化）
│   ├── megatron                # Megatron-LM 适配示例
│   ├── merge_lora              # LoRA 权重合并示例
│   ├── train_full              # 全参数训练示例
│   ├── train_lora              # LoRA 微调示例
│   └── train_qlora             # QLoRA 微调示例
│
├── scripts                     # 辅助脚本（转换、统计、API示例）
│   ├── api_example             # HTTP/API 使用示例
│   ├── convert_ckpt            # 权重转换脚本（HF <-> 原始权重）
│   └── stat_utils              # 数据、token 统计工具
│
├── src
│   └── llamafactory            # 核心代码入口
│       ├── api                 # Web API / 服务端（OpenAI 接口兼容）
│       ├── chat                # ChatEngine、多轮对话、工具调用
│       ├── data                # 数据加载、处理、格式化、模板系统
│       │   ├── processor       # 数据预处理组件（指令/对话/多模态）
│       ├── eval                # 模型评测
│       ├── extras              # 辅助函数（如日志、常量，环境等）
│       ├── hparams             # 超参数解析（模型/数据/训练参数）
│       ├── model               # 模型加载、LoRA/QLoRA/PEFT、patch等
│       │   └── model_utils     # 模型结构、权重、分布式工具
│       ├── third_party         # 集成第三方模块（如 muon 优化器）
│       ├── train               # 训练核心模块（SFT/DPO/KTO/PPO/RM等）
│       │   ├── dpo             # DPO 训练逻辑
│       │   ├── ksft            # KSFT 训练逻辑
│       │   ├── kto             # KTO 训练逻辑
│       │   ├── mca             # MCA 对齐算法
│       │   ├── ppo             # PPO 强化学习训练
│       │   ├── pt              # 预训练流程
│       │   ├── rm              # Reward Model（奖励模型训练）
│       │   └── sft             # 指令监督微调
│       ├── v1                  # 老版本核心（LLaMA-Factory v1）
│       │   ├── config          # v1 配置系统
│       │   ├── core            # v1 核心训练与推理模块
│       │   ├── extras          # v1 扩展功能
│       │   ├── plugins         # 插件系统（模型/采样器/分布式等）
│       │   └── trainers        # 训练器（Trainer）体系
│       └── webui               # Web UI（Gradio 界面）
│           ├── components      # UI 组件
│
├── tests                       # 测试集（核心模块测试）
│   ├── data                    # 数据处理测试
│   ├── e2e                     # 端到端测试
│   ├── eval                    # 评测模块测试
│   ├── model                   # 模型加载/patch等测试
│   └── train                   # 训练流程测试
│
└── tests_v1                    # v1 版本的历史测试集
    ├── core                    # v1 核心模块测试
    └── plugins                 # v1 插件系统测试

3 命令行接口

在使用如下命令安装环境依赖时，setup.py 会注册命令行工具

KTransformers 微调 × LLaMA-Factory 集成

Tue, 04 Nov 2025 22:06:28 +0800

KTransformers 微调 × LLaMA-Factory 集成

引言

从 DeepSeek-V3/R1 到 Qwen3-MoE 和 Kimi-K2，每一次超大模型的开源都带来性能与规模上的巨大跃升。然而，多数研究者与开发者受限于昂贵的显卡与动辄数千亿参数的模型，难以在资源受限条件下微调超大模型。面对这种差距，我们提出了一种更具可行性的方案：通过 KTransformers 与 LLaMA-Factory 的结合，仅需 2~4 张 RTX 4090 与较高内存 CPU，便可微调 DeepSeek-671B 等超大规模的 MoE 模型。

该架构的核心目标是为资源受限下的研究者提供在本地探索超大规模模型微调的可能性。同时，也在较小规模（如 14B/30B）提供快速定制特定场景的路径。我们以风格化对话、西式腔调翻译、医学问答作为代表任务，验证架构的可行性，并展示在数小时内达成个性化适配的可操作性。

如下图所示，LLaMA-Factory 是整个微调流程的统一调度与配置框架，负责数据处理、训练调度、LoRA 插入与推理接口管理； KTransformers 则作为其可插拔的高性能后端，在相同的训练配置下接管 Attention / MoE 等核心算子，实现异构设备（GPU+CPU）的高效协同。

我们在 LLaMA-Factory 框架下，对比评测了 HuggingFace、Unsloth、KTransformers 三种后端的 LoRA 微调方案。结果显示，KTransformers 为超大规模的 MoE 模型（671B 等）提供了4090 级别的唯一可行方案，并在较小规模的 MoE 模型（DeepSeek-14B）上面也展现了更高的吞吐和更低的显存占用。

Under LoRA (BF16) + NekoQA-10K 风格化对话数据集	HuggingFace Backend	Unsloth Backend	KTransformers Backend
[14B-DeepSeekV2-Lite] LoRA fine-tuning 吞吐量	303.58 token/s	455.37 token/s	530.38 token/s
[14B-DeepSeekV2-Lite] GPU memory	32.12 GB	9.64 GB	6.08 GB
[671B-DeepSeekV3] LoRA fine-tuning 吞吐量	OOM	尚未支持	40.35 token/s
[671B-DeepSeekV3] GPU memory（共计）	理论值 1400 GB †	尚未支持	70 GB †

† 1400 GB 为理论显存（BF16 全参数常驻，非可运行配置）；70 GB 为 KT 策略（Attention 驻 GPU + MoE 分层 offload）下的实测峰值。

Megatron-Core Fine-Tuning with LLaMA-Factory

Tue, 21 Oct 2025 16:21:12 +0800

LLaMA-Factory 🤝 MCoreAdapter

为充分利用 Megatron-core 的并行技术并提高 MoE 模型的训练效率，我们将 ROLL 团队 提供的 MCoreAdapter 与 LLaMA-Factory 的数据链路及 Megatron Trainer 的训练后端相结合，构建了一个新的模型训练工作流。

🚀 快速开始

1. 💻 环境安装

📦 pip

# for megatron-core
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124

pip install \
    numpy==1.26.4 \
    optree>=0.13.0 \
    spacy==3.7.5 \
    weasel==0.4.1 \
    transformer-engine[pytorch]==2.2.0 \
    megatron-core==0.13.0 \
    deepspeed==0.16.4 

pip uninstall -y opencv opencv-python opencv-python-headless
pip install opencv-python-headless==4.11.0.86
pip install "git+https://github.com/alibaba/roll.git#subdirectory=mcore_adapter"

# for llamafactory
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]" --no-build-isolation

🐳 docker (推荐)

参考 Dockerfile 进行构建。

Easy Dataset × LLaMA Factory: 让大模型高效学习领域知识

Thu, 03 Apr 2025 21:13:00 +0800

1 引言

Easy Dataset 是一个专为创建大型语言模型（LLM）微调数据集而设计的应用程序。它提供了直观的界面，用于上传特定领域的文件，智能分割内容，生成问题，并为模型微调生成高质量的训练数据。支持使用 OpenAI、DeepSeek、火山引擎等大模型 API 和 Ollama 本地模型调用。

LLaMA Factory 是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过 Web UI 界面零代码微调大模型，目前已经成为开源社区最热门的微调框架之一，GitHub 星标超过 6.3 万。支持全量微调、LoRA 微调、以及 SFT 和 DPO 等微调算法。

本教程使用 Easy Dataset 从五家互联网公司的公开财报构建 SFT 微调数据，并使用 LLaMA Factory 微调 Qwen2.5-3B-Instruct 模型，使微调后的模型能学习到财报数据集中的知识。

2 运行环境要求

GPU 显存：大于等于 12 GB
CUDA 版本：高于 11.6
Python 版本：3.10

3 使用 Easy Dataset 生成微调数据

3.1 安装 Easy Dataset

方法一：使用安装包

如果操作系统为 Windows、Mac 或 ARM 架构的 Unix 系统，可以直接前往 Easy Dataset 仓库下载安装包：https://github.com/ConardLi/easy-dataset/releases/latest

方法二：使用 Dockerfile

1.从 GitHub 拉取 Easy Dataset 仓库

LlamaFactory Blog

用 llamafactory-sft Skill 进行 LlamaFactory 微调

用 llamafactory-sft Skill 进行 llamafactory 微调

1. 环境准备

LlamaFactory x MindSpore HyperParallel 社区协作路标

项目愿景

路线图总览

Phase 1: 并行能力扩展 (2026 Q2)

使用 MindSpore HyperParallel 在昇腾上进行 LlamaFactory FSDP2 训练

LlamaFactory + MindSpore HyperParallel

快速开始

1. 环境安装

pip

2. 配置

使用 LlamaFactory 微调最新一代 Qwen3.5 模型辨别人形机器人型号

运行环境要求

1. 安装 LlamaFactory

Qwen3-VL 模型相关问题

1 Qwen3-VL 模型训练推理速度慢

1.1 检查 kernel 调用区别

KTransformers 联合 LLaMA-Factory 进行 RL-DPO 训练

1 环境配置

Step 1: 创建 KTransformers 的 conda 环境

Step 2: 安装 LLaMA-Factory

Step 3: 安装 KTransformers

添加 Special Tokens 训练模型

1 引言

2 数据集加载和预处理

2.1 数据加载

在 LLaMA-Factory 上适配新模型

1 模型适配概述

LLaMA Factory 项目代码指南

1 LLaMa-Factory 项目简介

2 项目目录结构

3 命令行接口

KTransformers 微调 × LLaMA-Factory 集成

KTransformers 微调 × LLaMA-Factory 集成

引言

Megatron-Core Fine-Tuning with LLaMA-Factory

LLaMA-Factory 🤝 MCoreAdapter

🚀 快速开始

1. 💻 环境安装

📦 pip

🐳 docker (推荐)

Easy Dataset × LLaMA Factory: 让大模型高效学习领域知识

1 引言

2 运行环境要求

3​ ​使用 Easy Dataset 生成微调数据

3.1 安装 Easy Dataset

方法一：使用安装包

方法二：使用 Dockerfile

3 使用 Easy Dataset 生成微调数据