[Feature] 有计划支持xtuner-llava系列吗

[KooSung]

Motivation

现在有计划支持xtuner-llava系列的VLM吗？比如LLaVA-InternLM2-7B (XTuner)

Related resources

No response

Additional context

No response

[lvhan028]

还没有具体的时间表，lmdeploy的turbomind已经有关于多模态推理接口。
可能一个比较快实现的方式是在 xtuner 那边集成 lmdeploy。我们内部还在讨论中

[pppppM]

正在 xtuner 中开发，但由于功能比较复杂，还需要一些时间 @KooSung
InternLM/xtuner#317

[lvhan028]

hi, @KooSung

lmdeploy v0.2.6 支持了 llava, qwen-vl, yi-vl 等模型的推理 pipeline 和serving。

关于 xtuner-llava 系列，我们觉得在 xtuner 侧增加比较合适。具体请关注 InternLM/xtuner#317

这个issue就先关掉了。