JJput
JJput
Published on 2025-03-17 / 45 Visits
0
0

linux ollama部署dp-r1

ollama安装

1、Windows 系统安装

打开浏览器,访问 Ollama 官方网站:https://ollama.com/download,下载适用于 Windows 的安装程序。

下载地址为:https://ollama.com/download/OllamaSetup.exe

下载完成后,双击安装程序并按照提示完成安装。

验证安装

打开命令提示符或 PowerShell,输入以下命令验证安装是否成功:

ollama --version

如果显示版本号,则说明安装成功。

更改安装路径(可选)

如果需要将 Ollama 安装到非默认路径,可以在安装时通过命令行指定路径,例如:

OllamaSetup.exe /DIR="d:\some\location"

这样可以将 Ollama 安装到指定的目录。


2、macOS 系统安装

打开浏览器,访问 Ollama 官方网站:https://ollama.com/download,下载适用于 macOS 的安装程序。

下载地址为:https://ollama.com/download/Ollama-darwin.zip

下载完成后,双击安装包并按照提示完成安装。

安装完成后,通过以下命令验证:

ollama --version

如果显示版本号,则说明安装成功。


3、Linux 系统安装

Linux 下可以使用一键安装脚本,我们打开终端,运行以下命令:

curl -fsSL https://ollama.com/install.sh | bash

安装完成后,通过以下命令验证:

ollama --version

如果显示版本号,则说明安装成功。


4、Docker 安装

如果你熟悉 Docker,也可以通过 Docker 安装 Ollama。

官方 Docker 镜像 ollama/ollama 可在 Docker Hub 上获取:https://hub.docker.com/r/ollama/ollama

拉取 Docker 镜像:

docker pull ollama/ollama

运行容器:

docker run -p 11434:11434 ollama/ollama

访问 http://localhost:11434 即可使用 Ollama。

模型下载

ollama官方deepseek-r1

32b需要24G显存(4090、5090等)

70b需要48G显存(A6000 48G版本)

671b推荐640G显存(80G*8)

DeepSeek-R1-Distill-Qwen-1.5B

ollama run deepseek-r1:1.5b

DeepSeek-R1-Distill-Qwen-7B

ollama run deepseek-r1:7b

DeepSeek-R1-Distill-Llama-8B

ollama run deepseek-r1:8b

DeepSeek-R1-Distill-Qwen-14B

ollama run deepseek-r1:14b

DeepSeek-R1-Distill-Qwen-32B

ollama run deepseek-r1:32b

DeepSeek-R1-Distill-Llama-70B

ollama run deepseek-r1:70b

后台运行

方法 1: 使用 nohup 命令(适用于 Linux 和 macOS)

nohup 命令可以在后台运行程序,并且即使你关闭终端,程序仍然会继续运行。

nohup ollama run deepseek-r1:70b &> output.log &

解释:

  • nohup:忽略挂起(HUP)信号。

  • ollama run deepseek-r1:70b:要运行的命令。

  • &> output.log:将输出(包括标准输出和标准错误)重定向到 output.log 文件。

  • &:将命令放入后台运行。

方法 2: 使用 screen 命令(适用于 Linux 和 macOS)

screen 命令允许你在后台运行多个 shell 会话,并且可以随时重新连接到这些会话。

  1. 启动一个新的 screen 会话:

    screen -S ollama_session
  2. 在 screen 会话中运行你的命令:

    ollama run deepseek-r1:70b
  3. 要将 screen 会话移至后台,按 Ctrl+A 然后按 D(detach)。

  4. 要重新连接到 screen 会话,使用:

    screen -r ollama_session

方法 3: 使用 tmux 命令(适用于 Linux 和 macOS)

tmux 是一个终端复用器,功能类似于 screen,但提供了更多功能。

  1. 启动一个新的 tmux 会话:

    tmux new -s ollama_session
  2. 在 tmux 会话中运行你的命令:

    ollama run deepseek-r1:70b
  3. 要将 tmux 会话移至后台,按 Ctrl+B 然后按 D(detach)。

  4. 要重新连接到 tmux 会话,使用:

    tmux attach -t ollama_session

Api使用

获取模型

curl http://localhost:11434/api/tags

发送消息-流失输出

curl http://localhost:11434/api/generate -d "{\"model\": \"deepseek-r1:32b\", \"prompt\": \"你好\"}"

关闭流输出

curl http://localhost:11434/api/generate -d "{\"model\": \"deepseek-r1:32b\", \"prompt\": \"你好\", \"stream\": false}"

修改外网访问

修改ollama配置使其可以监听0.0.0.0和修改端口,可以外网访问

修改文件

vim /etc/systemd/system/ollama.service

增加

[Service]

Environment="OLLAMA_HOST=0.0.0.0:3000"

有需要修改端口的话就加,可以不填端口

重现加载

sudo systemctl daemon-reload

sudo systemctl restart ollama

sudo systemctl status ollama


Comment