Docker部署bge-m3/bge-reranker模型
安装与配置 NVIDIA Container Toolkit
确认前置条件
在开始之前,请确保系统已经安装了NVIDIA GPU驱动程序(NVIDIA 驱动≥535.86.10,支持 CUDA 12.2+),并且可以正常运行 nvidia-smi 命令。同时,Docker Engine(版本建议 Docker 24.0+)也需要被安装好。安装 NVIDIA Contain...
确认前置条件
在开始之前,请确保系统已经安装了NVIDIA GPU驱动程序(NVIDIA 驱动≥535.86.10,支持 CUDA 12.2+),并且可以正常运行 nvidia-smi 命令。同时,Docker Engine(版本建议 Docker 24.0+)也需要被安装好。
安装 NVIDIA Contain...

A100是英伟达2020年发布的旗舰级数据中心GPU,基于Ampere架构,主要特性包括:
A100可广泛应用于高性能计算(HPC)和深度学习...
Continue reading >>在人工智能和深度学习领域,NVIDIA 凭借其强大的 GPU 产品线占据着举足轻重的地位。NVIDIA 拥有数十款功能各异的 GPU 产品,可用于部署和运行不同规模的机器学习模型,从边缘设备到大规模数据中心,几乎涵盖了所有应用场景。然而,NVIDIA GPU 的命名规则较为复杂,涉及架构代号(如 Ampere、Hopper)、性能等级(如 A100、A40)以及其他技术特征等多重维度,这使得用户在...
Continue reading >>上一篇写了Docker特权模式取消改造 → Docker特权权限与安全性实践,这篇主要写 Nvidia GPU 在 Docker 容器中使用及调用验证。首先需要了解下 Nvidia Container Runtime 架构,即GPU是怎么在容器内调用使用的。

NVIDIA Container Runtime 架构:基本原理是用钩子把宿主机显卡驱动映射到容器内使用。
The...
Continue reading >>Linux:
lspci | grep "VGA"
Windows:
在Windows上,可以使用设备管理器来查看显卡版本。
通过以下步骤打开设备管理器:
使用快捷键 Win + X,然后选择"设备管理器"。
或者,在开始菜单中搜索"设备管理器"并打开它。
在设备管理器中,展开"显示适配器"...