GitHub - OpenGVLab/InternVL: [CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接近GPT-4o表现的开源多模态对话模型

[CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接近GPT-4o表现的开源多模态对话模型 - OpenGVLab/InternVL

https://github.com/OpenGVLab/InternVL?tab=readme-ov-file

Fine-tune on a Custom Dataset — InternVL

Before starting the second fine-tuning, download the pre-trained model we provide.

https://internvl.readthedocs.io/en/latest/internvl3.0/finetune.html

环境安装

推理环境安装

微调环境安装

Tutorial/docs/L1/XTuner at camp3 · InternLM/Tutorial

LLM&VLM Tutorial. Contribute to InternLM/Tutorial development by creating an account on GitHub.

https://github.com/InternLM/Tutorial/tree/camp3/docs/L1/XTuner

数据集处理

Chat Data Format — InternVL

In InternVL 2.0 and 2.5, the organization of the training data is controlled by several key parameters to optimize the balance and distribution of datasets during training.

https://internvl.readthedocs.io/en/latest/get_started/chat_data_format.html

微调

关键设计决策（先说结论）

1. 视觉 LoRA 而非解冻全部视觉参数：你当前 freeze_visual_encoder=True，配合 visual_encoder_lora 是正确的方向 —— 冻结 base 参数、只训练 LoRA adapter，适合少样本场景且显存友好。

2. target_modules 用子串匹配就够：你列出的模块里，视觉的 attention 是 attn.qkv，mlp 是 mlp.fc1/fc2，用 ["attn.qkv","mlp.fc1","mlp.fc2"] 即可匹配所有层。

3. 少样本时减小 LoRA 容量、再加低 LR 与更多 epoch：把视觉 LoRA 的 r / alpha 调小（例如 r=32, alpha=32），学习率降到 1e-5 ~ 5e-6，并增加 epoch（3~10，视样本数）或用更多 gradient_accumulation_steps。

4. 把 bbox 显式写入训练 prompt：训练样本的文本（context）应包含 bbox 信息（格式化为 boxes: [[x1,y1,x2,y2,label], ...] 或自然语言描述），模型依据该 context 学习把视觉特征和 bbox 对齐。

5. 数据量小 -> 强正则/数据增强/重复采样：对图片做轻微 augment（翻转/色彩 jitter）、使用重复采样或 upsampling 生成足够 batch。

1. 视觉模型单独前向，不传 input_ids、attention_mask 等。

2. 文本模型单独使用 inputs_embeds 前向。

3. LoRA/PEFT 调用 _llm_forward 时不会把不需要的参数传给视觉模型。

推理

• LoRA 可以让模型学会 polygon 推理，但需要大量高质量 polygon 标注 + 格式约束，且训练难度高。

• 更实用的办法 是用 InternVL3 做 bbox 检测，再接 SAM / 语义分割网络 → polygon。

• 如果你只是想快速落地，建议优先用 检测 + SAM + mask2polygon，而不是直接逼 LLM 输出 polygon。