ollama 部署大模型相关资料

模型存放位置

• macOS: ~/.ollama/models
• MacOS: ~/. ollama/model
• Linux: /usr/share/ollama/.ollama/models
• Linux:/usr/share/ollama/. ollama/model
• Windows: C:Users%username%.ollamamodels

通过环境变量 OLLAMA_MODELS 修改存放位置

允许其他设备访问

ollama 默认监听127.0.0.1:11434，仅本机可请求到，修改环境变量 OLLAMA_HOST=0.0.0.0，可以让Ollama监听所有可用的网络接口，从而允许外部网络访问。

有些环境可能不太好设置 OLLAMA_HOST，也可以通过 nginx 做个反向代理。

api 使用指南：

https://github.com/datawhalechina/handy-ollama/blob/main/docs/C4/1.%20Ollama%20API%20%E4%BD%BF%E7%94%A8%E6%8C%87%E5%8D%97.md

一些例子：

访问 api：

curl http://21.6.188.212:9528/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "为什么草是绿的？"
}'

openai 兼容：

curl -X POST http://127.0.0.1:11434/v1/chat/completions 
-H "Content-Type: application/json" 
-d '{
  "model": "llama3.1:8b",
  "messages": [
    {
      "role": "user",
      "content": "为什么草是绿的？"
    }
  ],
  "temperature": 0.7
}'