VLM SGLang Tracker

[zhaochenyang20]

High-Priority

• Refactor vlm embedding routine to use precomputed feature sgl-project/sglang#6543

Add VLM CIs

• [Feature] add more CIs for VLM sgl-project/sglang#5249 (comment)
  Including performance and accuracy, could use MMMU bench to perform.
• Performance: [CI]Add performance CI for VLM sgl-project/sglang#6038
• Acc: test_vlm_models.py

现在 VLM accuracy 的 CI 是依赖外部库(lmms_eval)的，可以看下加一个使用我们自己的 benchmark 的版本，参考上面 issue @Dionysssss

VLM input

• vlm: support video as an input modality sgl-project/sglang#5888
• [Feature] Support more multi-modal input for VLM sgl-project/sglang#5964
  @Arist12

Speed up vlm

• vlm: tensor hash kernel sgl-project/sglang#5974

Rewrite VLM verl docs

@GeLee-Q

Areal

• AReaL VLM Roadmap #107
• [Feature] Add FlashAttention3 as a backend for VisionAttention sgl-project/sglang#5764

Support new models

我们抓紧搞完所有的 VLM 吧，我看还剩下：

• model: qwen2.5 omni (thinker only) sgl-project/sglang#4969 rebase review + 过 CI
• model(vlm): pixtral sgl-project/sglang#5084 review + 过 CI
• model(vlm): mistral 3.1 sgl-project/sglang#5099 review + 过 CI

[GeLee-Q]

validate 对齐需要做以下修改

verl 修改

disable_radix_cache=True 这个会对精度造成巨大影响

verl/verl/workers/rollout/sglang_rollout/sglang_rollout.py

self.inference_engine = VerlEngine(
            model_path=actor_module,
            dtype=config.dtype,
            mem_fraction_static=config.gpu_memory_utilization,
            device_mesh_cpu=device_mesh_cpu["tp"],
            enable_memory_saver=True,
            base_gpu_id=0,
            gpu_id_step=1,
            dist_init_addr=dist_init_addr,
            nnodes=nnodes,
            disable_cuda_graph=True,
            disable_radix_cache=True,
            # NOTE(Chenyang): if you want to debug the sglang engine
            # please set the following parameters
            # Otherwise, it will make the engine run too slow
            # log_level="INFO",
            # log_requests=True,
            # log_requests_level=2,
            # max_running_requests=1,
        )

sglang 修改

pip uninstall sglang

git clone https://github.com/mickqian/sglang.git
git checkout qwen-vl-radix-cache
git checkout c0298c78f

cd sglang
python3 -m uv pip install --upgrade pip
python3 -m uv pip install -e "python[all]"

[zhaochenyang20]

我刚刚和 mick 对齐了下，现在 VLM 的 issue 我们分了个级，具体情况可以去看 tracker #111 感觉 mick 需要和不少朋友对接，然后 yi 负责下 review，这样我们权责清晰，快速过掉。之后 xinyuan ji yitong 还有 chen 也能快速 catch 到 VLM 的 utility：

我这里说下 P0：

1. #5349 是 qwen 2.5 VL 的 prefix cache，最重要，现在 VLM RLHF 的部分必须这个，最高优先级，@xinyuan 可以协助 @mick 快速 merge 么？
2. #4693 是 qwen3 的 PR，我和 yuhao 单独对齐，当然也非常重要，我甚至可以给你找到场景测试了；

P1（次优先级）：

1. #5084 这个 mistral 的模型，yuhao 把 qwen 搞完了再来搞这个吧，unsloth 往后捎一捎，或者我找xueying 出人来做；
2. #4969 是 qwen omni 模型，刚好可以带着 @论之铭 来做，学习下我们 team 的工作模式，剩下的不多了，你去 fix mick 留下的 issue 就好了
3. #5383 和 #5350 是两个新的模型，都还算好模型，但是不那么着急，@抿了抿嘴(爱🎤的小黄鹂) @ji Li 二位各自 take 一个？

[zhaochenyang20]

1. 测试开源模型（kimi A 3B thinking）的 performance 对精度；
2. MRope 实现有问题，这个在 qwen VL 上表现比较集中；
3. Megatron VLM AReaL；

[zhaochenyang20]

1. kimi A 3B thinking 的 performance 对齐；chen 和 ji
2. MRope xinyuan；大概 3 天；
3. MCore：junrong 和 fuwei 线下切磋一把？

[zhaochenyang20]

sgl-project/sglang#5383

sgl-project/sglang#4491

你可以用这个 PR 的方法去测试下那个老哥提供的 kimi 的精度，然后，不用改任何代码，直接把精度放到 issue 里面，告诉我们和官方的分数差别以及 vllm 的对齐 🤔 如果没问题，就可以 meege model 了

@Othame

[JustinTong0323]

batch size 的事情我发觉了，如果 max running batch 对精度影响很大，这个事情是务必要解决的。我理解目前：

1. mrope 的 PR merge 了之后，bs = 1 的精度就好了；

2. mrope 的 PR merge 了之后，bs > 1 的精度还会掉的很严重；

如果我的理解没错的话，对于 2，我们可以提交一个测试脚本，来最快复现下这个问题，然后交给怜悯。

@zhaochenyang20 这个理解是对的至于测试脚本可以直接用 https://github.com/GeLee-Q/geo_validate/tree/txy/add_engine_sgl

[zhaochenyang20]

batch size 的事情我发觉了，如果 max running batch 对精度影响很大，这个事情是务必要解决的。我理解目前：

1. mrope 的 PR merge 了之后，bs = 1 的精度就好了；

2. mrope 的 PR merge 了之后，bs > 1 的精度还会掉的很严重；

如果我的理解没错的话，对于 2，我们可以提交一个测试脚本，来最快复现下这个问题，然后交给怜悯。

@zhaochenyang20 这个理解是对的至于测试脚本可以直接用 https://github.com/GeLee-Q/geo_validate/tree/txy/add_engine_sgl

写清楚点吧，我一般说的傻瓜测试，是让别人什么代码什么参数都不用改，直接复制粘贴就能出结果。显然，调整 batch size 是需要用户来改的，你这里补充下文档吧。无非是这么情况：

1. 测试 bs > 1：

启动指令 xxx -> 测试指令 xxx

2. 测试 bs = 1：

启动指令 xxx -> 测试指令 xxx

一点不要省略，方便交接，不然交给第三个人的体感不好。

[zhaochenyang20]

sgl-project/sglang#5383

hello 哥，我们 rebase 到了 main 上一个非常重要的修改，这个 PR 需要您做两件事情：

1. 修 lint；
2. 提供 kimi VL 在 MMMU 上的分数，你可以参考这个来做： Add MMMU benchmark results sgl-project/sglang#4491

你可以把你的分支 merge 到他的里面，然后测完了，提供分数就好了。

不需要把他的分支一并交了，测了就好了，以后我会更新他的 PR，然后把 kimi vl 分数加进去，如果模型不太大，CI 一卡能容得下的话

[zhaochenyang20]

sgl-project/sglang#5084
sgl-project/sglang#5099

@KivenChen 这俩 xinyuan 学习下如何 review，然后 yi 最后 go over 一次？我已经开始重跑 CI 了，如果你俩 review 有问题，可以联系 kiven 直接修了～

[zhaochenyang20]

sgl-project/sglang#4969
sgl-project/sglang#5350

这俩 PR 我们意见应该一致了，不期待 VLM 发新版，咱们直接 rebase 然后 import 一堆吧

搞好了 xinyuan 和 yi review 下就好了！

[zhaochenyang20]

sgl-project/sglang#5552

这个 PR 是 @hhcf 写的，MMMU 分数也有了，非常 review，这个 chen 可以学习下 review 么？@论之铭 之后 yi 和 xinyuan 再过第二轮，一起学习下 reivew 吧！

[zhaochenyang20]

sgl-project/sglang#5383

hello 哥，我们 rebase 到了 main 上一个非常重要的修改，这个 PR 需要您做两件事情：

1. 修 lint；
2. 提供 kimi VL 在 MMMU 上的分数，你可以参考这个来做： Add MMMU benchmark results sgl-project/sglang#4491

你可以把你的分支 merge 到他的里面，然后测完了，提供分数就好了。

不需要把他的分支一并交了，测了就好了，以后我会更新他的 PR，然后把 kimi vl 分数加进去，如果模型不太大，CI 一卡能容得下的话

sgl-project/sglang#5383

@milter 哥，这个 PR 好了的话，你要重跑 CI 就叫我。好了的话，直接在 github 上 @ 我们就好了。我看 yi 也 approve 了，yi 一般 review 的质量特别高，大家可以学习，以后也做顶级 reviewer

@glycyrrhiza @ji Li @抿了抿嘴(爱🎤的小黄鹂) @2255 @Chen ZHU（Othame）

[zhaochenyang20]

sgl-project/sglang#4969 sgl-project/sglang#5350

这俩 PR 我们意见应该一致了，不期待 VLM 发新版，咱们直接 rebase 然后 import 一堆吧

搞好了 xinyuan 和 yi review 下就好了！

sgl-project/sglang#4969

@mick mick，这个情况如何哇，如果好了让 yi review 然后 approve？我看分数也测出来了

sgl-project/sglang#4969 (comment)

chen 可以方便对标一下 hf 和 vllm 的分数么～ @mick

按照原计划，@glycyrrhiza 学习下如何 review 哇

[zhaochenyang20]

sgl-project/sglang#4969 sgl-project/sglang#5350

这俩 PR 我们意见应该一致了，不期待 VLM 发新版，咱们直接 rebase 然后 import 一堆吧

搞好了 xinyuan 和 yi review 下就好了！

sgl-project/sglang#5350

这个情况如何呀，我看 conflicts solve 了，但是我昨天的 rebase 今天还是在那儿，我直接重跑了

还是 reviewer 哇

顺带，
一起学习下 review 😂 一般 yi 的 review 质量非常好，怜悯看到 yi approve 了，自己就完全不看了