生成式AI、机器学习课程学习
李宏毅老师简介
李宏毅老师是台湾大学电机工程学系的教授，在机器学习和生成式AI领域的教学全球知名，尤其在华语社区拥有极高声誉。YouTube上的课程累计超过30万订阅，影响力横跨学界与业界。李老师的的教...
Continue reading >>大模型并发场景GPU显存资源计算
前面两篇文章主要介绍了大模型GPU资源需求计算及使用场景：大模型GPU显存算力需求计算 | 大模型推理资源需求计算及使用场景示例。
在常见并发推理场景中，显存需求会随着并发数的增加而显著增长，...
Continue reading >>《坏男孩联盟》《黑岩男孩》与《银泰杜梅拉》
这三部纪录片从不同视角展现了非洲草原上狮子真实而震撼的生活。这些狮王的故事也展现了非洲草原上不同的生存策略：暴力征服、团队协作、智慧统治。每种方式都有其优势和代价。当然，如果没有邪恶的两脚兽干预可能又...
Continue reading >>macOS安装龙虾OpenClaw
OpenClaw是个啥？
简单说：OpenClaw 是一个开源的个人 AI 助手平台，支持通过多种消息渠道与 AI 交互，让你能把 AI 代理（agent）连接到日常生活和工作流中，处理生活工作中的各种...
Continue reading >>大模型推理资源需求计算及使用场景示例
上一篇我们了解了 大模型GPU显存算力需求计算，这次我们把CPU和内存的需求也一起纳入考量。在异构计算（CPU+GPU协同）和纯CPU推理日益普及的今天，了解这三者的需求对于在不同硬件上部署...
Continue reading >>大模型GPU显存算力需求计算
一、显存占用核心组成部分
大语言模型在GPU上运行时的显存占用主要包括以下几个部分：
1. 模型参数
在模型推理时首先需要存储模型本身的参数，其占用的显存计算公式为：参数量 x 参数精度。常用的参...
Continue reading >>