大模型推理资源需求计算及使用场景示例
上一篇我们了解了 大模型GPU显存算力需求计算，这次我们把CPU和内存的需求也一起纳入考量。在异构计算（CPU+GPU协同）和纯CPU推理日益普及的今天，了解这三者的需求对于在不同硬件上部署...
Continue reading >>大模型GPU显存算力需求计算
一、显存占用核心组成部分
大语言模型在GPU上运行时的显存占用主要包括以下几个部分：
1. 模型参数
在模型推理时首先需要存储模型本身的参数，其占用的显存计算公式为：参数量 x 参数精度。常用的参...
Continue reading >>《盐铁论》全文
《盐铁论》全文，《盐铁论》简介，《盐铁论》全文在线阅读...Continue reading >>
nvidia-smi工具详解及使用示例
nvidia-smi（NVIDIA System Management Interface）是NVIDIA官方提供的GPU管理工具，提供管理和监控 GPU 的接口。其核心功能包括NVIDIA GPU运...
Continue reading >>Kubernetes PV数据卷缩容方案及统计PV容量
在 Kubernetes 中，直接对 Persistent Volume (PV) 进行容量缩容（减小容量）通常是不被支持的。这主要是出于数据安全的考虑，因为贸然缩小底层存储设备可能会破坏数据。
理解...
Continue reading >>易经六十四卦Unicode符号表
Yijing Hexagram Symbols
U+4DC0 – U+4DFF (19904–19967)
Character(decimal)DecimalCharacter
(hex)He...Continue reading >>