diff --git a/20251014.md b/20251014.md index c091eb9..47764d7 100644 --- a/20251014.md +++ b/20251014.md @@ -1,6 +1,12 @@ ```shell # 因清华大学开源镜像站 HTTP/403 换了中科大的镜像站,配置信息存放在这里 cat /etc/apt/sources.list + +# 安装 openssh 端口号是默认的 22 没有修改 +sudo apt install openssh-server -y +sudo systemctl enable ssh +sudo systemctl start ssh + # 安装显卡驱动和CUDA wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb sudo dpkg -i cuda-keyring_1.1-1_all.deb @@ -10,14 +16,20 @@ sudo apt-get install -y cuda-drivers nvidia-smi apt install nvidia-cuda-toolkit nvcc -V -# 用 conda 创建了一个 python=3.12 的环境 + +# 以下 pip install 都是在该环境执行的 conda create -n vllm-py12 python=3.12 -y -# 在该目录存放关于 vllm 和LLM相关的内容 + +# 在该目录存放了关于该环境的额外内容 cd /home/ss/vllm-py12 conda activate vllm-py12 + +# 安装 vllm pip install vllm -i http://mirrors.cloud.tencent.com/pypi/simple --extra-index-url https://download.pytorch.org/whl/cu128 -# 安装了 openssh 端口号是默认的 22 没有修改 -sudo apt install openssh-server -y -sudo systemctl enable ssh -sudo systemctl start ssh + +# 安装 modelscope +pip install modelscope -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com + +# 使用 modelscope 拉取 gpt-oss-20b 模型 + ``` \ No newline at end of file