vLLM 加载和部署 LoRA 微调后的模型

vLLM 完全支持加载和部署 LoRA 微调后的模型,并且能带来显著的性能提升。 两种部署方式 方式一:直接…

  • AI算法
  • 2025/10/27
  • 4