ollama 安装和使用
Ollama 安装与使用指南
Ollama 是一个用于强大的工具,允许你在本地运行各种 大型语言模型(LLM)的工具,它简化了模型的下载和管理过程如 LLaMA、Mistral、Gemma 等。以下是详细的安装和使用教程,涵盖 OllamaWindows、macOS、Linux 的详细步骤:系统。
1. 安装 Ollama
📥 方法 1:直接下载安装(推荐)
Linux/Windows / macOS
- 访问 Ollama 官网,下载对应系统的安装包。
- 运行安装程序,按照提示完成安装。
- 安装完成后,打开终端(Windows 用 CMD/PowerShell,macOS 用 Terminal),
运行以下命令输入:
如果显示版本号(如ollama --version
v0.1.30
),说明安装成功。
Linux(Ubuntu/Debian/Rocky Linux)
# 使用 curl 下载并安装
curl -fsSL https://ollama.com/install.sh | sh
安装完成后,Ollama运行:
ollama serve & # 启动服务会自动启动。(后台运行)
Windows
目前 Ollama 官方支持 Windows 的预览版,可以从官网下载安装程序:
👉 Ollama 官网
2.🐳 基本命令方法 2:使用 Docker 安装(适合开发者)
安装完成后,可以通过命令行与
# 拉取 Ollama 交互镜像
docker pull ollama/ollama
# 运行容器(数据持久化到本地)
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
-p 11434:11434
:Ollama 默认 API 端口。-v ollama:/root/.ollama
:存储模型数据,避免容器删除后丢失。
2. 下载模型
Ollama 提供了支持多个预配置的种模型,例如:
llama2
:(Meta的 LLaMA 2开源)mistral
: Mistral 7B(轻量高效)gemma
:(Google的轻量级)phi
(微软小模型)qwen
(阿里通义千问)
📥 下载模型(以 llama2
为例):
ollama pull llama2 # 下载 LLaMA 2
ollama pull mistral # 下载 Mistral
ollama pull gemma # 下载 Google Gemma
⚠️ 如果下载慢,可以使用代理:
export HTTP_PROXY=http://127.0.0.1:7890 # 替换为你的代理
export HTTPS_PROXY=http://127.0.0.1:7890
ollama pull llama2
3. 运行模型
💬 方式 1:命令行交互
ollama run llama2 # 运行 LLaMA 2
运行后,会进入交互模式,可以直接输入问题,例如:
>>> 你好,你是谁?
查看已下载的模型
ollama list
删除模型
ollama rm llama2
3. 高级用法
自定义模型
Ollama 允许用户基于现有模型创建自定义配置。例如,创建一个 Modelfile:
FROM llama2
# 设置系统提示
SYSTEM """
你是一个乐于助人的 AI 助手,用中文回答问题。
"""
# 调整参数
PARAMETER temperature 0.7写一首关于春天的诗
然后构建并运行:模型会生成回答,按 Ctrl+D
退出。
ollama🔄 create方式 mymodel -f Modelfile
ollama run mymodel
作为 2:API 服务运行调用
启动 Ollama 的提供 APIREST 服务器:
ollama serve
API(默认端口是 11434
),可以通过用 HTTPcurl
请求或 Python 调用:
curl -X POST http://localhost:11434/api/generate -d '{
"model": "llama2",
"prompt": "你好,请介绍一下你自己。是谁?"
}'
Python 示例:
import requests
response = requests.post(
"http://localhost:11434/api/generate",
json={"model": "llama2", "prompt": "解释一下人工智能"}
)
print(response.text)
4. 自定义模型
你可以基于现有模型微调(Fine-tuning):
- 创建
Modelfile
:FROM llama2 SYSTEM """你是一个专业的中文助手,回答要简洁。"""
- 构建自定义模型:
ollama create my-llama -f Modelfile
- 运行:
ollama run my-llama
5. 常见问题
❌ 问题 1:ollama
命令找不到
如何提升性能?
确保你的电脑有足够的Windows:检查是否添加到了RAM(至少 8GB,推荐 16GB+PATH
(安装时勾选)。- Linux/macOS:手动添加环境变量:
export PATH=$PATH:/usr/local/bin
🐢 问题 2:下载模型太慢
- 方法 1:使用
GPU 加速代理(需安装 CUDA 或 Metal 驱动见上文)。
如何关闭 Ollama 服务?2
ollama stop
:手动下载模型存储位置
Linux/macOS:文件,放入~/.ollama/models
Windows:(Linux/macOS)或C:\Users\<用户名>\.ollama\models
(Windows)。
🚫 问题 3:端口冲突
如果 11434
端口被占用,可以修改端口:
OLLAMA_HOST=0.0.0.0:11435 ollama serve # 改用 11435
6. 进阶用法
📂 管理模型
ollama list # 查看已安装的模型
ollama rm llama2 # 删除模型
⚙️ 配置 GPU 加速
Ollama 支持 NVIDIA CUDA 和 Apple Metal 加速:
- Linux (NVIDIA):安装 NVIDIA Container Toolkit,然后:
docker run --gpus all -p 11434:11434 ollama/ollama
- macOS (Metal):自动启用,无需额外配置。
5.7. 官方资源总结
官网:操作 命令示例 安装 Ollama curl -fsSL https://ollama.
comcom/install.sh shGitHub:|https://github.com/jmorganca/ollama如果有其他问题,可以尝试运行下载模型 ollama pull llama2
运行模型 ollama run mistral
调用 API curl -X POST http://localhost:11434/api/generate
自定义模型 ollama create my-model -
helpf Modelfile查看 帮助文档已安装模型ollama list
现在你可以轻松在本地运行大模型了!🚀 如需更多模型,可查看 Ollama 官方库。