这两天用开源的 Qwen2 ，微调了一个自己的大模型。

通过指令监督微调，改变大模型的自我认知，让他不再是 Qwen 而是铸道，同时也让他的自我认知是由我训练的。

微调的过程非常简单，不需要写代码，三步就可以搞定，今天跟朋友们分享一下。

首先需要安装开源工具 LLama-Factory

第一步，选择开源模型作为基座。

这里支持很多开源模型，我选的是 Qwen2-1.5B，因为我的显卡只有 8G 显存，所以只能训练参数小点的模型。

接下来需要将基座模型下载到自己电脑上。建议在魔搭社区下载，速度快。

下载后，在“模型路径”中填写模型存放的位置。

第二步，选择训练数据。

这是 alpaca 格式的指令，在 LLama-Factory 目录的 data 文件夹下，创建对应的 .json 数据文件

然后，在 dataset_info.json 中添加 .json 文件后，就可以在平台用了。

第三步，修改训练参数

初次训练以跑通为主，基本不需要修改参数。这里，我只把“训练轮数”加到了20。

最后，就可以点击 “开始” 按钮，进行训练了。训练过程中，可以观察右侧的“损失”曲线

如果呈下降趋势，说明模型训练符合预期。

训练结束后，加载训练的模型，就可以对话了。

LLama-Factory 确实让大模型微调变得非常容易，这个项目已经在 GitHub 上开源，感兴趣的朋友可以试试。