《道心》
《道心》半生清贫半生缘......Continue reading >>
多个模型复用同一张GPU卡方案
上一篇我们使用 Docker部署bge-m3/bge-reranker模型，由于测试环境GPU卡资源紧张，基于成本考虑，需要在同一张卡上运行多个模型。现在以 bge-m3/bge-reran...
Continue reading >>Docker部署bge-m3/bge-reranker模型
安装与配置 NVIDIA Container Toolkit
确认前置条件
在开始之前，请确保系统已经安装了NVIDIA GPU驱动程序（NVIDIA 驱动≥535.86.10，支持 CUDA 12.2+...
英伟达算力GPU主要型号及参数
1. A100：数据中心AI计算的奠基石
A100是英伟达2020年发布的旗舰级数据中心GPU，基于Ampere架构，主要特性包括：
- 架构：Ampere
- CUDA核心数：6912
- Tensor核心：432
- 显存...
常用AI模型介绍及多模型组合使用场景
常用AI模型介绍及TEI模型推理框架
bge-m3模型是一种先进的文本嵌入模型，能够将文本转换为高维向量，从而实现高效的文本相似度计算、分类等任务。
bge-reranker-v2-m3是一个轻量级的重排...
Continue reading >>NVIDIA GPU架构演进及使用场景
在人工智能和深度学习领域，NVIDIA 凭借其强大的 GPU 产品线占据着举足轻重的地位。NVIDIA 拥有数十款功能各异的 GPU 产品，可用于部署和运行不同规模的机器学习模型，从边缘设备到大规模数...
Continue reading >>