https://www.bilibili.com/list/watchlater/?bvid=BV1hcWozpEdk&oid=115412465489382&watchlater_cfg=%7B%22viewed%22%3A0,%22key%22%3A%22%22,%22asc%22%3Afalse%7D&spm_id_from=333.881.0.0

1. 大语言模型的推理加速方案

1.1. 为什么KV Cache不在training中使用只在inference中使用

回答：因为训练（Training）和推理（Inference）的计算方式完全不同。

解释：

训练 (Training) 是“并行”的：为了高效利用 GPU，我们一次性将整个完整序列（例如，一个完整的句子）输入模型，并使用 Causal Mask (注意力掩码) 来防止位置 i 的 token "偷看" 到位置 j > i 的 token。

推理 (Inference) 是“串行”的：我们一次只生成一个新 token，然后把它添加到输入序列中，再生成下一个。

KV Cache 正是为了优化这种“串行”的、逐字生成的推理过程而设计的。

KV Cache的存储方式

两个不同的句子是否需要重新计算所有的k和v的矩阵？

新的句子中相同的字符是否需要重新计算QKV？

回答：是的，必须重新计算。因为同一个词在句中的位置(Positional encoding)和上下文表示(Contextual representation)可能不同。

换一种说法：

p1: what are the two steps in LLM inference?

prefill and decode 预填充和解码

由于self-attention, 多个token输入的时候，可以做成keys Matrix x Queries Matrix进行并行计算，

Prefill (预填充) 阶段：负责创建和填充初始的 KV Cache。

Decode (解码) 阶段：负责使用和扩展这个 KV Cache。

怎么加速推理？

关键在于延迟和吞吐量。

Latency (延迟) 和 Throughput (吞吐量) 是衡量系统性能的两个关键指标，它们描述的是不同的东西：

Latency关注的是响应时间。

Througtput关注的是单位时间内系统能处理的操作数量(流量)。

提问：

Why multi-head attention?

多角度看问题。multi-head attention是设置多个注意力机制，详见子空间。

Theory: subspace 子空间

每个注意力头都有自己的QKV矩阵
由于初始化矩阵不同，所以训练后会学到不同的投影方式。（如一个学会动词和主语之间关系，一个学会同义词之间的关联性）
多个注意力头在各自的小空间里独立学习，最后拼起来。怎么拼起来看下面。

Compute: parallel 并行计算多注意力头

gpu可以同时计算所有头，不是使用loop。而是批处理矩阵（batched matrix multiply, BMM）。比如原本要输入[BatchSize=2（两句句子）, SeqLen（每句10个词）, 512（模型维度）] [2,10,512]。

Reshape（逻辑拆分）。将维度拆分成多个头[2,10,8,64]。

Transpose（转置）。都这么转 [2,8,10,64]。

矩阵乘法。中的 [2,8,64,10]。相乘的时候pytorch会自动识别后两维是批次维度，并行处理完结果就是注意力分数矩阵 [2,8,10,10]。

How to use CUDA to optimized multi-head attention

由于MHA只有在计算的时候是在显存里，读结果的scale, mask,softmax都是在内存，所以有优化空间。
FlashAttention 是 MHA 优化技术。

内核融合，将各步骤都融合到一个 CUDA 内核里完成。
分块（Tiling）：在计算的时候，是一个大矩阵，可能放不进片上内存（SRAM，计算速度快）。将这个矩阵分成小块（Tiles），在SRAM上计算每个结果的Softmax，然后累加起来。

1.2. tensor parallelism和pipeline parallelism（并行）

这两个并行策略的作用：解决大模型过大一张显卡的显存装不下的问题。通过切分模型，分别在不同显卡中运算。

Pipeline parallelism（流水线并行）：

模型纵向切分
不同GPU处理不同层（GPU1: 1-10Layers, GPU2: 11-20Layers, …）。显卡之间是串行的，一个处理完传输结果到下一个，最后出结果。
优点：这样所有模型利用率拉满，在训练的时候用效果好。
缺点：推理的时候延迟很大。

Tensor parallelism（张量并行）：

模型横向切分
所有GPU同时在一个Layer上工作，最后拼成结果。
就是利用了 BMM 的原理，把不同的头分出来，然后装到不同显卡里计算。
优点：延迟很低
缺点：每一层处理的结果都必须共享并求和（All-Reduce），才能进行下一层计算，所以受通信速度的影响（需要NVLink的高速网络进行数据通信）

特性	Tensor Parallelism (TP, 张量并行)	Pipeline Parallelism (PP, 流水线并行)
核心思想	层内并行 (Intra-layer Parallelism)	层间并行 (Inter-layer Parallelism)
切分方式	横向切分：把单层的权重矩阵（如 W_Q, W_K, W_V）“切碎”	纵向切分：把多层（Layers）“切断”成不同的“阶段” (Stage)
通信开销	极高且频繁。每计算完一层，GPU 间都需通信 (All-Reduce)	低且不频繁。只在两个“阶段”的边界处通信 (Point-to-Point)
带宽依赖	极高。必须使用 NVLink 这样的高速总线，基本限于单机	较低。可以使用 InfiniBand/Ethernet，可以跨服务器（节点）
主要优点	低延迟。所有 GPU 同时计算，响应快。	高吞吐 (训练时)。可跨节点扩展，装下超大模型。
主要缺点	扩展性差。受限于单机 GPU 数量 (如 8 卡)	延迟极高。串行计算，总延迟是所有阶段之和。
关键问题	通信是瓶颈。	“流水线气泡” (Bubble)：大量 GPU 处于空闲等待状态。
设备	最好是同一个host，多张显卡	可以是不同host

Sequence parallelism（序列并行）：（最新方案，可输入超长tokens）

前面介绍的两种策略TP和PP，在每块GPU中都需要存储和处理完整序列长度（Full Sequence Length）的激活值（在训练反向传播时，模型必须在显存里保留所有中间计算结果（Attention layer, FFN layer的输出等），这就是激活值）。而激活值的显存占用量与序列长度 （输入的tokens长度）和批次大小 （一个GPU同时并行处理的独立样本数量）成正比。所以，当很长时，激活值会比模型权重还大，成为新的显存瓶颈。导致就算TP和PP把权重分得再碎，激活值都有可能让显存爆。
解决方法：既然很长，那把也切了。

问题是，self-attention对于上下文有依赖，切开会破坏这种依赖。
self-attention有依赖，但是FFM/MLP（前馈网络）的序列没有依赖，对每个token都是独立计算的。
SP和TP需要一起用。

FFN/MLP layer

输入：[S, B, H]
切分：在输入FFN前，先把输入切成8份。

每个GPU独立计算。

Attention layer

将所有GPU的FFN结果拼回完整序列，并共享到所有GPU（All-Gather）。
使用TP策略。

通信（Reduce-Scatter）：

所有GPU执行一次 Reduce-Scatter（求和-分散）。就是所有TP结果相加，然后做切分（第1步的切分成8份）。输入下一个FFN。

1.2.1. FFN

FFN 通常是一个非常简单的两层全连接神经网络 (MLP)：

1.3. Quantization

FP32 → FP4 大幅减少模型参数量来做到加速。

FP32: -128～+127 （256）

FP4: -8～+7 （16）

操作步骤：

关键点：在推理时，模型会用 INT8 整数进行极快的矩阵乘法（INT8 计算比 FP32 快得多），只在最后需要输出时，才用 S 和 Z 把结果“反量化”回 FP32。

例子：

zero point是将量化值和原始值对齐的操作。

1.3.1. 量化的主要策略

1.3.1.1. Post-Trainging Quantization (PTQ - 训练后量化)

训练高精度模型后，冻结参数。

小批量样本推理，记录每一层的权重和激活值矩阵的最大和最小值。

根据量化值和记录的值计算S和Z。

所有权重从FP32转换为INT8，甚至INT4。

1.3.1.2. Quantization-aware training (QAT - 量化感知训练)

由于量化对精度的损失很大，所有需要QAT。

策略：在训练时就模拟量化。

前向传播 Forward pass

拿到FP32权重，量化为INT8，倒回FP32。

反向传播 Backward pass

计算梯度。（注意梯度回绕过round函数，因为它不可导）
使用梯度更新FP32权重

这样模型就会在训练中自己优化量化造成的误差。

注意细节：

GitHub - OpenGVLab/InternVL: [CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接近GPT-4o表现的开源多模态对话模型

[CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接近GPT-4o表现的开源多模态对话模型 - OpenGVLab/InternVL

https://github.com/OpenGVLab/InternVL?tab=readme-ov-file

Fine-tune on a Custom Dataset — InternVL

Before starting the second fine-tuning, download the pre-trained model we provide.

https://internvl.readthedocs.io/en/latest/internvl3.0/finetune.html

环境安装

推理环境安装

如果flash-attn==2.3.6安装失败，可能是flash-attn找不到对应nvcc版本。

如果版本不对，重新安装nvcc

安装后续库

微调环境安装

Tutorial/docs/L1/XTuner at camp3 · InternLM/Tutorial

LLM&VLM Tutorial. Contribute to InternLM/Tutorial development by creating an account on GitHub.

https://github.com/InternLM/Tutorial/tree/camp3/docs/L1/XTuner

注意的是，可以将xtuner的分支改到最新tag，这样pip安装才会出现可执行的xtuner。

建议微调和推理环境分开。

数据集处理

Chat Data Format — InternVL

In InternVL 2.0 and 2.5, the organization of the training data is controlled by several key parameters to optimize the balance and distribution of datasets during training.

https://internvl.readthedocs.io/en/latest/get_started/chat_data_format.html

如果需要输入坐标信息，可以将坐标信息归一化到[0, 1000]之间的整型，token中有0到1000的数字，这样文本的token数量不会太多

微调

关键设计决策（先说结论）

视觉 LoRA 而非解冻全部视觉参数：你当前 freeze_visual_encoder=True，配合 visual_encoder_lora 是正确的方向 —— 冻结 base 参数、只训练 LoRA adapter，适合少样本场景且显存友好。

target_modules 用子串匹配就够：你列出的模块里，视觉的 attention 是 attn.qkv，mlp 是 mlp.fc1/fc2，用 ["attn.qkv","mlp.fc1","mlp.fc2"] 即可匹配所有层。

少样本时减小 LoRA 容量、再加低 LR 与更多 epoch：把视觉 LoRA 的 r / alpha 调小（例如 r=32, alpha=32），学习率降到 1e-5 ~ 5e-6，并增加 epoch（3~10，视样本数）或用更多 gradient_accumulation_steps。

把 bbox 显式写入训练 prompt：训练样本的文本（context）应包含 bbox 信息（格式化为 boxes: [[x1,y1,x2,y2,label], ...] 或自然语言描述），模型依据该 context 学习把视觉特征和 bbox 对齐。

数据量小 -> 强正则/数据增强/重复采样：对图片做轻微 augment（翻转/色彩 jitter）、使用重复采样或 upsampling 生成足够 batch。

遇到问题

报错信息

记忆填埋场

三维重建纹理映射调研

纹理映射

1. 投影映射(Projector And Mapping)

2. 变换函数(Corresponder Function)

2.1. 坐标范围处理

大语言模型的推理加速方案

1. 大语言模型的推理加速方案

1.1. 为什么KV Cache不在training中使用只在inference中使用

1.2. tensor parallelism和pipeline parallelism（并行）

1.2.1. FFN

1.3. Quantization

1.3.1. 量化的主要策略

1.3.1.1. Post-Trainging Quantization (PTQ - 训练后量化)

1.3.1.2. Quantization-aware training (QAT - 量化感知训练)

internvl3 微调记录

环境安装

推理环境安装

微调环境安装

数据集处理

微调

关键设计决策（先说结论）

Fuji Lake Hotel

Windows 安装 WSL2 Ubuntu

1. 安装Ubuntu

2. 开启ssh

3. 自动化windows虚拟网卡ip修改+启动ssh服务

Linux 问题整理

Linux