ollama安装
1、Windows 系统安装
打开浏览器,访问 Ollama 官方网站:https://ollama.com/download,下载适用于 Windows 的安装程序。
下载地址为:https://ollama.com/download/OllamaSetup.exe。
下载完成后,双击安装程序并按照提示完成安装。
验证安装
打开命令提示符或 PowerShell,输入以下命令验证安装是否成功:
ollama --version
如果显示版本号,则说明安装成功。
更改安装路径(可选)
如果需要将 Ollama 安装到非默认路径,可以在安装时通过命令行指定路径,例如:
OllamaSetup.exe /DIR="d:\some\location"
这样可以将 Ollama 安装到指定的目录。
2、macOS 系统安装
打开浏览器,访问 Ollama 官方网站:https://ollama.com/download,下载适用于 macOS 的安装程序。
下载地址为:https://ollama.com/download/Ollama-darwin.zip。
下载完成后,双击安装包并按照提示完成安装。
安装完成后,通过以下命令验证:
ollama --version
如果显示版本号,则说明安装成功。
3、Linux 系统安装
Linux 下可以使用一键安装脚本,我们打开终端,运行以下命令:
curl -fsSL https://ollama.com/install.sh | bash
安装完成后,通过以下命令验证:
ollama --version
如果显示版本号,则说明安装成功。
4、Docker 安装
如果你熟悉 Docker,也可以通过 Docker 安装 Ollama。
官方 Docker 镜像 ollama/ollama 可在 Docker Hub 上获取:https://hub.docker.com/r/ollama/ollama。
拉取 Docker 镜像:
docker pull ollama/ollama
运行容器:
docker run -p 11434:11434 ollama/ollama
访问 http://localhost:11434 即可使用 Ollama。
模型下载
32b需要24G显存(4090、5090等)
70b需要48G显存(A6000 48G版本)
671b推荐640G显存(80G*8)
DeepSeek-R1-Distill-Qwen-1.5B
ollama run deepseek-r1:1.5b
DeepSeek-R1-Distill-Qwen-7B
ollama run deepseek-r1:7b
DeepSeek-R1-Distill-Llama-8B
ollama run deepseek-r1:8b
DeepSeek-R1-Distill-Qwen-14B
ollama run deepseek-r1:14b
DeepSeek-R1-Distill-Qwen-32B
ollama run deepseek-r1:32b
DeepSeek-R1-Distill-Llama-70B
ollama run deepseek-r1:70b
后台运行
方法 1: 使用 nohup 命令(适用于 Linux 和 macOS)
nohup
命令可以在后台运行程序,并且即使你关闭终端,程序仍然会继续运行。
nohup ollama run deepseek-r1:70b &> output.log &
解释:
nohup
:忽略挂起(HUP)信号。ollama run deepseek-r1:70b
:要运行的命令。&> output.log
:将输出(包括标准输出和标准错误)重定向到output.log
文件。&
:将命令放入后台运行。
方法 2: 使用 screen 命令(适用于 Linux 和 macOS)
screen
命令允许你在后台运行多个 shell 会话,并且可以随时重新连接到这些会话。
启动一个新的 screen 会话:
screen -S ollama_session
在 screen 会话中运行你的命令:
ollama run deepseek-r1:70b
要将 screen 会话移至后台,按
Ctrl+A
然后按D
(detach)。要重新连接到 screen 会话,使用:
screen -r ollama_session
方法 3: 使用 tmux 命令(适用于 Linux 和 macOS)
tmux
是一个终端复用器,功能类似于 screen,但提供了更多功能。
启动一个新的 tmux 会话:
tmux new -s ollama_session
在 tmux 会话中运行你的命令:
ollama run deepseek-r1:70b
要将 tmux 会话移至后台,按
Ctrl+B
然后按D
(detach)。要重新连接到 tmux 会话,使用:
tmux attach -t ollama_session
Api使用
获取模型
curl http://localhost:11434/api/tags
发送消息-流失输出
curl http://localhost:11434/api/generate -d "{\"model\": \"deepseek-r1:32b\", \"prompt\": \"你好\"}"
关闭流输出
curl http://localhost:11434/api/generate -d "{\"model\": \"deepseek-r1:32b\", \"prompt\": \"你好\", \"stream\": false}"
修改外网访问
修改ollama配置使其可以监听0.0.0.0和修改端口,可以外网访问
修改文件
vim /etc/systemd/system/ollama.service
增加
[Service]
Environment="OLLAMA_HOST=0.0.0.0:3000"
有需要修改端口的话就加,可以不填端口
重现加载
sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl status ollama