vLLM 部署Qwen2.5 LLM & VLM 大模型
Qwen2.5-32B 和 Qwen2.5-VL-32B 是通义千问（Qwen）系列中的两个大模型，分别对应纯语言模型（LLM）和多模态视觉-语言模型（VLM）。Docker环境安装与配置 ...
Continue reading >>奔波2025
如2024年终总结预想的一样，2025确实是奔波的一年，虽然结束北漂回到二线城市工作，但是在这一年里大多数时间都是在上海、广州等一线做项目交付，只是base在二线而已，相当于出差去一线干活，工作模式也...
Continue reading >>《道心》
《道心》半生清贫半生缘......Continue reading >>
多个模型复用同一张GPU卡方案
上一篇我们使用 Docker部署bge-m3/bge-reranker模型，由于测试环境GPU卡资源紧张，基于成本考虑，需要在同一张卡上运行多个模型。现在以 bge-m3/bge-reran...
Continue reading >>Docker部署bge-m3/bge-reranker模型
安装与配置 NVIDIA Container Toolkit
确认前置条件
在开始之前，请确保系统已经安装了NVIDIA GPU驱动程序（NVIDIA 驱动≥535.86.10，支持 CUDA 12.2+...
英伟达算力GPU主要型号及参数
1. A100：数据中心AI计算的奠基石
A100是英伟达2020年发布的旗舰级数据中心GPU，基于Ampere架构，主要特性包括：
- 架构：Ampere
- CUDA核心数：6912
- Tensor核心：432
- 显存...