本篇将以两个简单的应用场景——验证码识别(图文输入)和视频理解(视频文本输入),向你介绍如何使用 Qwen 2.5 VL 模型。我们将会使用 vLLM 作为推理框架,使用示例则使用 Python 代码和 Cherry Studio。因此同时,本篇也将会简单介绍 vLLM 部署 Qwen 2.5 VL。
相关信息
本文中使用的环境:
- 操作系统:Ubuntu 24.04
- Cuda:12.8
- GPU: NVIDIA Tesla V100 32G x8
2025年6月25日大约 9 分钟
本篇将以两个简单的应用场景——验证码识别(图文输入)和视频理解(视频文本输入),向你介绍如何使用 Qwen 2.5 VL 模型。我们将会使用 vLLM 作为推理框架,使用示例则使用 Python 代码和 Cherry Studio。因此同时,本篇也将会简单介绍 vLLM 部署 Qwen 2.5 VL。
相关信息
本文中使用的环境:
距离上次认真写点什么已经近两个月了,咕咕真是抱歉呐……下次还敢!
回看此前的文章,实在不甚满意。未来的博文将会更注重 实用性 和 简洁明了,不再事无巨细地描述每一个细节。希望能给未来翻阅的自己留下些真正有用的宝藏,当然也希望能给你带来更好的阅读体验。
这是昇腾推理系列文章的第一篇,在这个系列中我将会依次记录三个目前主流的大语言模型推理实现方式在昇腾环境下的部署过程,依次是 vLLM(针对非 GGUF 模型)
、Llama Box(GPUStack,针对 GGUF 模型)
以及华为昇腾生态中的 MindIE
框架。