Ollama：在自己电脑上免费跑开源大模型
你能得到什么：一个装在自己电脑上的大模型，翻译、改写、总结这类日常小活不再按 token 计费，内容也不用发到别人的服务器。适合：常用 AI 处理文字、在意隐私、手上有一台内存 8 GB 以上电脑的人。不适合：想要最强推理和写代码能力的人，本地小模型在这方面明显比不上顶级在线模型。
项目速览
| 项目 | 内容 |
|---|---|
| 仓库 | ollama/ollama |
| Star | 184,126（截至 2026-10-21） |
| 许可证 | MIT |
| 最新版本 | v0.40.7（2026-10-18 发布） |
| 它做什么 | 一键下载、运行开源大模型；命令行聊天，同时在 11434 端口提供 REST 接口和 OpenAI 兼容接口 |
安装指南
# 官方安装脚本；也可以去 ollama.com/download 下载 Ollama.dmg 双击安装
curl -fsSL https://ollama.com/install.sh | sh# 官方安装脚本，会顺带注册成 systemd 服务（需要 sudo）
curl -fsSL https://ollama.com/install.sh | sh
ollama -v# PowerShell 里执行；也可以下载 OllamaSetup.exe 安装
irm https://ollama.com/install.ps1 | iexdocker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
docker exec -it ollama ollama run gemma4不想用 sudo、只想装在某个目录里（我们这次就是这么装的），可以手动解压官方安装包：
# 安装包是 .tar.zst 格式，先确认有 zstd（Debian/Ubuntu：sudo apt install zstd）
curl -fsSL -o ollama.tar.zst https://ollama.com/download/ollama-linux-amd64.tar.zst
mkdir -p ~/ollama && tar --zstd -xf ollama.tar.zst -C ~/ollama
# 模型默认放在用户目录下，想换位置就设 OLLAMA_MODELS
OLLAMA_MODELS=~/ollama/models ~/ollama/bin/ollama serve使用教程：把本地模型当成免费的翻译、总结接口
- 跑一个模型：
ollama run gemma4会自动下载并进入对话；想先试水，选参数量小的模型，下载快、占内存少。完整列表在 ollama.com/library。 - 用接口调用：Ollama 启动后在本机
11434端口提供接口，脚本、表格插件、自动化工具都能调。 - 接到现成工具里：凡是支持「自定义 OpenAI 接口地址」的工具，把地址填成
http://localhost:11434/v1，密钥随便填一个非空字符串，就能改用本地模型。下一篇的 Open WebUI 和 n8n 都能这样接。
# 原生接口
curl http://localhost:11434/api/chat -d '{
"model": "gemma4",
"messages": [{"role": "user", "content": "用一句话解释什么是开源软件。"}],
"stream": false
}'
# OpenAI 兼容接口
curl http://localhost:11434/v1/chat/completions -H 'Content-Type: application/json' -d '{
"model": "gemma4",
"messages": [{"role": "user", "content": "把这句话翻译成英文：今天的会议改到下午三点。"}]
}'避坑与解决方案
拉模型报 redirect target not allowed
完整报错类似 redirect target not allowed: ...r2.cloudflarestorage.com resolves to non-public 198.18.x.x。我们这次实测就撞上了：新版 Ollama 下载模型时会跳到 Cloudflare R2，如果你的网络环境把域名解析到 198.18.0.0/15 这类保留地址（一些代理软件的 fake-ip 模式就这样），Ollama 会出于安全考虑拒绝连接。相关讨论见 issue #19086。
解决：最稳的是让 Ollama 拿到真实 IP，比如在代理软件里把 registry.ollama.ai 和 *.r2.cloudflarestorage.com 设为直连或改用非 fake-ip 模式。issue 里有人建议加 --insecure，但它会改走 http，我们这边直接超时了，不推荐。实在拉不下来，就走下一条的「导入 GGUF」。
官方仓库拉不下来：自己下载 GGUF 再导入
Ollama 支持把 GGUF 格式的模型文件直接导入，这也是我们这次跑通的办法：
# 以 Qwen3 0.6B 为例，从 Hugging Face 下载官方 GGUF（约 639 MB）
curl -fL -o Qwen3-0.6B-Q8_0.gguf https://huggingface.co/Qwen/Qwen3-0.6B-GGUF/resolve/main/Qwen3-0.6B-Q8_0.gguf
echo 'FROM ./Qwen3-0.6B-Q8_0.gguf' > Modelfile
ollama create qwen3-local -f Modelfile
ollama run qwen3-local手动解压报 zstd: Cannot exec
Linux 安装包是 .tar.zst，系统没装 zstd 时 tar 会直接失败。先 sudo apt install zstd（或用系统对应的包管理器）再解压。
小模型能跑，但别把它当专家
我们用 0.6B 的小模型做翻译测试，「今天的会议改到下午三点」被翻成了 The meeting will be held at 3 p.m. tomorrow.，把「今天」翻成了「明天」。小模型适合打草稿、分类、改格式，结果要自己看一遍；正经活换更大的模型，或者交给在线模型。
显存、内存不够
模型越大越吃内存。电脑跑不动时先换小一号的模型，或者换量化程度更高的版本（文件名里 Q4、Q8 这类标记，数字越小越省内存、精度也越低）。
WANGXXXL 实测于 2026-10-21
- 环境：Linux 云电脑，8 核 Intel Xeon CPU，没有 GPU；Ollama v0.40.7，手动解压安装。
- 过程：
ollama pull qwen3:0.6b因上面说的 redirect 报错失败；改为从 Hugging Face 下载 GGUF，用ollama create导入成功。 - 结果：原生接口回答「用一句话解释什么是开源软件」，生成 28 个 token 用时约 0.21 秒（接口返回的
eval_duration），整次请求约 2.3 秒；OpenAI 兼容接口同样可用，翻译那次出了上面说的错。