vLLM 部署Qwen2.5 LLM & VLM 大模型
Qwen2.5-32B 和 Qwen2.5-VL-32B 是通义千问（Qwen）系列中的两个大模型，分别对应纯语言模型（LLM）和多模态视觉-语言模型（VLM）。Docker环境安装与配置 NVIDIA Container Toolk，下载大模型参考 Docker部署bge-m3/bge-reranker模型。
标签：Docker
Docker部署bge-m3/bge-reranker模型
安装与配置 NVIDIA Container Toolkit
确认前置条件
在开始之前，请确保系统已经安装了NVIDIA GPU驱动程序（NVIDIA 驱动≥535.86.10，支持 CUDA 12.2+），并且可以正常运行 nvidia-smi 命令。同时，Docker Engine（版本建议 Docker 24.0+）也需要被安装好。安装 NVIDIA Contain...
ContainerLab使用指南
一、ContainerLab 是什么？
ContainerLab 是一个强大且高效的网络实验室工具，用于部署和管理由容器互联构成的虚拟网络环境。它允许网络工程师、开发者和学习者使用基于容器的节点（如路由器、交换机、防火墙）来快速创建、销毁和测试复杂的网络拓扑。
你可以把它想象成是网络领域的 Docker Compose，但专门为网络...
Continue reading >>Docker 启动失败 no such device storage-driver=overlay2
k8s集群中有几个pod的状态不正常，查看对应node机器上系统启动日志有reboot记录，kubelet启动失败，原因是docker没有正常启动，查看docker启动日志，看到如下报错：
Continue reading >>failed to mount overlay: no such device storage-driver=overlay2
storage driver overlay2 failed: driver not...
containerd 架构及CLI工具ctr、crictl 和 nerdctl操作命令
containerd 架构及说明
容器技术已经成为现代软件开发和部署的核心工具。通过容器，开发者可以创建轻量级、便携的运行环境，从而简化应用程序的开发、测试和部署流程。在容器技术的生态系统中，容器运行时扮演着至关重要的角色。containerd 是一个高效、可靠的开源容器运行时，它被设计为从开发到生产环境的核心容器管理解决方案。containerd 的架构主要分为三个部分：生态系统（Ecosyste...
Continue reading >>K8S那些常见高频面试问题
简单说一下k8s集群内外网络如何互通的
要在 Kubernetes（k8s）集群内外建立网络互通，可以采取以下措施：
使用service： 使用Service类型为NodePort或LoadBalancer的Kubernetes服务。这可以使服务具有一个公共IP地址或端口，以便在集群内或外部访问该服务。
使用Ingress: 配置Kubernetes Ingress资源。Ingres...