使用 LlamaFactory 微调最新一代 Qwen3.5 模型辨别人形机器人型号

1
2

git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git
cd LlamaFactory

1

pip install -e .

1

llamafactory-cli version

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

我想微调一个能识别所有2026年春晚出现人形机器人型号的 Qwen3.5 模型，我希望你给我生成一个自动化数据集爬取的工作流，爬取2026年马年春晚的机器人以及国内和国外常见的人型机器人的图片及其型号，制造商等等一些描述信息，然后最终给我一个格式如下的 json 数据集：
[
  {
    "messages": [
      {
        "role": "user",
        "content": "<image>请识别并描述图片中的机器人及其特征，特别注意其型号、生产商及应用场景。"
      },
      {
        "role": "assistant",
        "content": "图片展示了由 宇树科技 (Unitree Robotics) 生产的 Unitree H1 机器人。搭载了先进的视觉和深度传感器系统，使其具备强大的环境感知能力，能够实时构建三维地图，实现自主导航和障碍物规避。"
      }
    ],
    "images": [
      "images/unitree_h1_5.png"
    ]
  },
  ...
]
我希望每个机器人图片对应一个问题和回答（一条数据），且user的问题和assistant的回答不单调，尽管机器人型号一样，我也希望问题和回答有多样性。

最终我希望得到的数据集至少有200张机器人图片，给我一个中文版的的json格式数据集和一个英文版的json格式数据集，还有数据集对应的图片文件。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

[
  {
    "messages": [
      {
        "role": "user",
        "content": "<image>请识别并描述图片中的机器人及其特征，特别注意其型号、生产商及应用场景。"
      },
      {
        "role": "assistant",
        "content": "图片展示了由 宇树科技 生产的 Unitree G1 (EDU) 机器人。这款高性价比人形机器人以其卓越的运动性能和紧凑设计脱颖而出。它不仅支持灵活的折叠存放，极大节省空间，还能完成原地跳跃等复杂动作，展现了其先进的动力学控制能力。G1 (EDU) 旨在为科研和教育领域提供一个开放且功能强大的平台，助力机器人技术的发展和创新人才的培养。"
      }
    ],
    "images": [
      "images/unitree_g1_1.png"
    ]
  }
]

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

  "mllm_robot": {
    "file_name": "mllm_robot.json",
    "formatting": "sharegpt",
    "columns": {
      "messages": "messages",
      "images": "images"
    },
    "tags": {
      "role_tag": "role",
      "content_tag": "content",
      "user_tag": "user",
      "assistant_tag": "assistant"
    }
  },
  "mllm_robot_en": {
    "file_name": "mllm_robot_en.json",
    "formatting": "sharegpt",
    "columns": {
      "messages": "messages",
      "images": "images"
    },
    "tags": {
      "role_tag": "role",
      "content_tag": "content",
      "user_tag": "user",
      "assistant_tag": "assistant"
    }
  },

1

llamafactory-cli webui