1
curl -fsSL https://ollama.com/install.sh | sh

1
ollama --version

1
# 下载并运行（首次会自动下载，后续直接启动）
2
ollama run qwen2.5

1
# 查看已下载的模型列表
2
ollama list
3

4
# 删除不需要的模型（释放磁盘空间）
5
ollama rm qwen2.5
6

7
# 查看模型详细信息
8
ollama show qwen2.5

1
# 创建 Modelfile
2
cat > Modelfile << 'EOF'
3
FROM ./my-model.gguf
4

5
PARAMETER temperature 0.7
6
PARAMETER top_p 0.9
7
PARAMETER num_ctx 4096
8

9
SYSTEM """你是一个有用的AI助手，请用中文回答问题。"""
10
EOF

1
# 基于 Modelfile 创建自定义模型
2
ollama create my-model -f Modelfile
3

4
# 运行自定义模型
5
ollama run my-model

1
http://localhost:11434

1
# 测试连接
2
curl http://localhost:11434/api/tags
3

4
# 发送对话请求
5
curl http://localhost:11434/api/chat -d '{
6
  "model": "qwen2.5",
7
  "messages": [
8
    {"role": "user", "content": "你好"}
9
  ]
10
}'

1
curl http://localhost:11434/v1/chat/completions -d '{
2
  "model": "qwen2.5",
3
  "messages": [
4
    {"role": "user", "content": "你好"}
5
  ]
6
}'

1
from openai import OpenAI
2

3
client = OpenAI(
4
    base_url="http://localhost:11434/v1",
5
    api_key="ollama"  # Ollama 不需要真实 API Key
6
)
7

8
response = client.chat.completions.create(
9
    model="qwen2.5",
10
    messages=[{"role": "user", "content": "你好"}]
11
)
12
print(response.choices[0].message.content)

1
import OpenAI from 'openai';
2

3
const client = new OpenAI({
4
    baseURL: 'http://localhost:11434/v1',
5
    apiKey: 'ollama',
6
});
7

8
const response = await client.chat.completions.create({
9
    model: 'qwen2.5',
10
    messages: [{ role: 'user', content: '你好' }],
11
});
12
console.log(response.choices[0].message.content);

1
# Windows (PowerShell)
2
$env:OLLAMA_HOST="0.0.0.0:11434"
3

4
# Linux / macOS
5
export OLLAMA_HOST=0.0.0.0:11434

1
# 使用 Docker 一键部署
2
docker run -d -p 3000:8080 \
3
  --add-host=host.docker.internal:host-gateway \
4
  -v open-webui:/app/backend/data \
5
  --name open-webui \
6
  ghcr.io/open-webui/open-webui:main