Skip to main content

ollama 安装和使用

Ollama 是一个用于在本地运行大型语言模型（LLM）的工具，它简化了模型的下载和管理过程。以下是安装和使用 Ollama 的详细步骤：

1. 安装 Ollama

Linux/macOS

打开终端，运行以下命令：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后，Ollama 服务会自动启动。

Windows

目前 Ollama 官方支持 Windows 的预览版，可以从官网下载安装程序：
👉 Ollama 官网

2. 基本命令

安装完成后，可以通过命令行与 Ollama 交互。

下载模型

Ollama 提供了多个预配置的模型，例如：

  • llama2: Meta 的 LLaMA 2
  • mistral: Mistral 7B
  • gemma: Google 的 Gemma

下载模型（以 llama2 为例）：

ollama pull llama2

运行模型

ollama run llama2

运行后，会进入交互模式，可以直接输入问题，例如：

>>> 你好，你是谁？

查看已下载的模型

ollama list

删除模型

ollama rm llama2

3. 高级用法

自定义模型

Ollama 允许用户基于现有模型创建自定义配置。例如，创建一个 Modelfile：

FROM llama2
# 设置系统提示
SYSTEM """
你是一个乐于助人的 AI 助手，用中文回答问题。
"""
# 调整参数
PARAMETER temperature 0.7

然后构建并运行：

ollama create mymodel -f Modelfile
ollama run mymodel

作为 API 服务运行

启动 Ollama 的 API 服务器：

ollama serve

默认端口是 11434，可以通过 HTTP 请求调用：

curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt": "你好，请介绍一下你自己。"
}'

4. 常见问题

如何提升性能？

  • 确保你的电脑有足够的 RAM（至少 8GB，推荐 16GB+）。
  • 使用 GPU 加速（需安装 CUDA 或 Metal 驱动）。

如何关闭 Ollama 服务？

ollama stop

模型存储位置

  • Linux/macOS: ~/.ollama/models
  • Windows: C:\Users\<用户名>\.ollama\models

5. 官方资源

如果有其他问题，可以尝试运行 ollama --help 查看帮助文档。

Back to top