类别: AI技术分享    来源：www.nanyuetong.com

摘要：LLaMA-Factory 安装与使用指南 1. LoRA 模型合并 执行以下命令合并 LoRA 训练的模型： python src/export_model_lora.py \ --model_name_or_path /home/ctq/Huggingface/Qwen2.5-1.5B-Instruct \ --adapter_name_or_path /home/ctq/Pyproject/LLaMA-Factory/outmoxi/Qwen2.5-1.5B-1 \ --t...

LLaMA-Factory 安装与使用指南

1. LoRA 模型合并

执行以下命令合并 LoRA 训练的模型：

python src/export_model_lora.py \
    --model_name_or_path /home/ctq/Huggingface/Qwen2.5-1.5B-Instruct \
    --adapter_name_or_path /home/ctq/Pyproject/LLaMA-Factory/outmoxi/Qwen2.5-1.5B-1 \
    --template qwen \
    --export_dir ./outmoxi/Qwen2.5-1.5B-lora

通用格式：

python src/export_model_lora.py \
    --model_name_or_path （原始模型路径） \
    --adapter_name_or_path （训练后 LoRA 模型路径） \
    --template qwen \
    --export_dir （合并输出模型路径）

2. 训练模型

激活llamafactory环境并运行训练脚本：

conda activate llamafactory
bash qw15.sh

3. 启动 VLLM 进行推理

切换到vllm环境并启动 VLLM 服务器：

conda activate vllm
vllm serve /home/ctq/Huggingface/Qwen2.5-1.5B-Instruct

4. 设置代理（如有需要）

export http_proxy=192.168.2.218:2023
export https_proxy=192.168.2.218:2023

取消代理：

unset http_proxy
unset https_proxy

5. 启动 Web UI 进行推理

python src/webui.py --model_name_or_path /home/ctq/Huggingface/Qwen2-VL-7B-Instruct

6. 模型下载

前往 ModelScope 下载模型：

modelscope download Qwen/Qwen2.5-3B-Instruct --local_dir Qwen2.5-3B-Instruct

或者使用通用格式：

modelscope download [模型地址] --local_dir [模型名称]

7. 全参数（Full-Finetuning）训练

CUDA_VISIBLE_DEVICES=0 python src/train.py \
    --model_name_or_path /home/ctq/Huggingface/DeepSeek-R1-Distill-Qwen-1.5B \
    --stage sft \
    --do_train \
    --finetuning_type full \
    --dataset ctqtest \
    --template deepseek3 \
    --cutoff_len 4096 \
    --overwrite_cache \
    --preprocessing_num_workers 16 \
    --output_dir ./outmoxi/DeepSeek-R1-Distill-Qwen-1.5B \
    --logging_steps 1 \
    --save_steps 10 \
    --plot_loss true \
    --overwrite_output_dir yes \
    --per_device_train_batch_size 8 \
    --gradient_accumulation_steps 4 \
    --learning_rate 1e-5 \
    --warmup_ratio 0.05 \
    --num_train_epochs 3.0 \
    --lr_scheduler_type cosine \
    --fp16 true \
    --eval_steps 10 \
    --val_size 0.01 \
    --per_device_eval_batch_size 2 \
    --evaluation_strategy steps \
    --load_best_model_at_end true

8. LoRA 训练（参数高效微调）

CUDA_VISIBLE_DEVICES=0 python src/train.py \
    --model_name_or_path /home/ctq/Huggingface/DeepSeek-R1-Distill-Qwen-1.5B \
    --stage sft \
    --do_train \
    --finetuning_type lora \
    --dataset ctqtest \
    --template deepseek3 \
    --cutoff_len 4096 \
    --overwrite_cache \
    --preprocessing_num_workers 16 \
    --output_dir ./outmoxi/DeepSeek-R1-Distill-Qwen-1.5B \
    --logging_steps 1 \
    --save_steps 10 \
    --plot_loss true \
    --overwrite_output_dir yes \
    --per_device_train_batch_size 8 \
    --gradient_accumulation_steps 4 \
    --learning_rate 1e-5 \
    --warmup_ratio 0.05 \
    --num_train_epochs 3.0 \
    --lr_scheduler_type cosine \
    --fp16 true \
    --eval_steps 10 \
    --val_size 0.01 \
    --per_device_eval_batch_size 2 \
    --evaluation_strategy steps \
    --load_best_model_at_end true

---

总结

• LoRA 模型合并 通过export_model_lora.py实现。
• 训练模型 需要使用bash脚本运行。
• VLLM 启动 用于高效推理。
• 代理配置 适用于网络受限环境。
• Web UI 启动 可用于交互式推理。
• 模型下载 可通过 ModelScope 获取。
• 全参数微调 适用于完整模型训练。
• LoRA 训练 适用于轻量级微调，提高训练效率。