GitHub原地址

README 就是官方的文档,不想看的可以看我的一步一步做。

ollama/ollama: Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2, and other large language models.

环境

win 10,正因为是 windows 所以使用 ollama。

本来我是想用 vllm,但是 vllm 只能在 linux 上使用。

下载与安装软件

Ollama 在官网上点击 download 下载安装包。

下载完安装之后双击安装包,即可进行安装。

右下角会出现小羊驼的标志,说明安装成功了。

也可以 cmd。

输入 ollama -v 出现下图说明安装成功。

scoop 安装

也可以通过 scoop 进行安装,方便更新。

scoop install ollama-full

ollama 在 scoop 中有两个版本,一个是位于 main bucket 中的 ollama,一个是位于 extra bucket 的 ollama-full,安装后者。

不过用 scoop 安装其实有问题,最好还是在官网安装,别用 scoop 进行安装。

安装模型

在 cmd 中输入:

ollama run xxx # xxx是模型名
 
# 例如
ollama run qwq

即可开始下载相对应的模型。

library 这个网址是 ollama 的模型仓库,可以看看有哪些模型可以使用。

切换模型安装位置

Ollama Windows文档

ollama 模型默认安装在 c 盘,位置如下如:

C:\Users\你自己的用户名\.ollama,把这个文件夹复制到你想要的位置。

打开电脑的高级系统设置,添加下面的系统变量。

然后关闭 ollama,重启 ollama 和 cmd。

输入:

ollama list

能看到模型就迁移成功了。

一些可以设置的系统变量

使用

CLI

也就是终端模式,还是 ollama run 已经安装的模型名,就可以直接对话了,只是没那么好看。

Ctrl + d 可以退出。

API 形式

这里使用 postman 进行测试。

使用 qwq 爆内存了,恢复速度太慢了。所以模型就换成 14 b 的 deepseek 来测试。

可以看到 OK 的 response。

能够看到 response body 中的回复。

GUI

可以安装下面的软件。

open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, …)

让局域网也可以访问

加入系统变量

在系统变量里面加上下面的变量:

防火墙开放相应端口

接着开放相关的端口。

这里需要进入 win 10 的防火墙与网络保护,高级设置里面。

点击右侧的新建规则。

规则类型选择端口。

选择 TCP,特定本地端口为 Ollama 占用的 11434 端口。

下面就一路下一页即可,名称上面起个能之后认出来是干什么的名字。

测试

首先先关闭 Ollama,也就是关闭下面的小羊驼标志。

接着 cmd 输入指令:

ollama serve

换一台电脑,在 postman 里面把原本的 localhost 改为开启了 ollama 的 ip 地址。

点击发送。

可以看到主机已经接受。