by ·0评论 · 234 人阅读

安装与配置 NVIDIA Container Toolkit

  1. 确认前置条件
    在开始之前，请确保系统已经安装了NVIDIA GPU驱动程序（NVIDIA 驱动≥535.86.10，支持 CUDA 12.2+），并且可以正常运行 nvidia-smi 命令。同时，Docker Engine（版本建议 Docker 24.0+）也需要被安装好。

  2. 安装 NVIDIA Contain...

Continue reading >>

by ·0评论 · 632 人阅读

1764187836142706.png

1. A100：数据中心AI计算的奠基石

A100是英伟达2020年发布的旗舰级数据中心GPU，基于Ampere架构，主要特性包括：

  • 架构：Ampere
  • CUDA核心数：6912
  • Tensor核心：432
  • 显存：40GB/80GB HBM2e
  • 带宽：1.6TB/s
  • NVLink支持：可连接多个GPU以扩展算力
  • 应用场景：深度学习训练、推理、科学计算、大规模数据分析

A100可广泛应用于高性能计算（HPC）和深度学习...

Continue reading >>

by ·0评论 · 552 人阅读

常用AI模型介绍及TEI模型推理框架

bge-m3模型是一种先进的文本嵌入模型，能够将文本转换为高维向量，从而实现高效的文本相似度计算、分类等任务。

bge-reranker-v2-m3是一个轻量级的重排序模型，具有强大的多语言能力，易于部署，推理速度快。

TEI（全称：Text Embeddings Inference）是由Huggingface推出的高性能推理框架，旨在简化和加速文本嵌入（Embed...

Continue reading >>

by ·2条评论 · 1,478 人阅读

在人工智能和深度学习领域，NVIDIA 凭借其强大的 GPU 产品线占据着举足轻重的地位。NVIDIA 拥有数十款功能各异的 GPU 产品，可用于部署和运行不同规模的机器学习模型，从边缘设备到大规模数据中心，几乎涵盖了所有应用场景。然而，NVIDIA GPU 的命名规则较为复杂，涉及架构代号（如 Ampere、Hopper）、性能等级（如 A100、A40）以及其他技术特征等多重维度，这使得用户在...

Continue reading >>

by ·0评论 · 2,930 人阅读 · 最后更新: 2025/11/30
◎NVIDIA GPU参数速查表 | 更新日期：20251129GPU型号产品架构产品形态算力情况，挂*为稀疏值显存显存带宽GPU互联详细参数GB300Blackwell
Ultra多芯组合，2个B300和1个Grace CPUFP4：30/38.9P*
FP8：10/20P*
FP16：5/10P*
TF32：2.5/5P*576G HBM3e16TB/sNvlink 2x1.8TB/s查看B300Bl...Continue reading >>

by ·0评论 · 1,383 人阅读

模型参数量的基本概念

我们通常用参数数量来衡量模型的规模。参数是模型在训练过程中学习的变量，这些变量用于根据输入数据做出预测或生成输出。参数数量通常以B（Billion，十亿）为单位。"B"代表"Billion"（十亿），比如常见的大语言模型级别规模：

  • 7B = 70亿参数

  • 32B = 320亿参数

  • 70B = 700亿参数

  • 910B = 9100亿参数

"参...

Continue reading >>