垦荒学园
  • 中文

      • 应用集成

      Ollama 的价值往往不在 REPL，而在成为其他工具的本机模型后端。本章覆盖本站相邻教程、编辑器，以及 Docker 网络里最容易踩的地址问题。

      先选哪一种接口

      对方怎么接模型你提供什么
      写死 OpenAI SDK /「OpenAI 兼容」http://localhost:11434/v1 ，模型填 ollama ls 里的名字
      有「Ollama」供应商主机 http://localhost:11434，走原生 /api
      只要聊天，不管协议ollama run 或官方 Python/JS 库

      官方菜单和 ollama launch 能一键配 Claude Code、OpenClaw、VS Code、OpenCode、Codex 等，见 integrations 与 CLI。

      Dify：模型供应商

      在 Dify 后台把 Ollama 加为模型供应商：API Base 指向你的 Ollama（本机调试一般是 http://localhost:11434，以 Dify 当前表单为准），模型名与 ollama ls 一致。聊天模型与嵌入模型要分开配，知识库检索才能走 Embeddings 那条链路。

      Dify 若跑在 Docker、Ollama 在宿主机：不要在容器里填 localhost（那是容器自己）。改用下一节的 host.docker.internal。

      LangChain

      两条常见路：

      1. langchain-ollama（或文档中的 ChatOllama / OllamaEmbeddings）走原生协议。
      2. ChatOpenAI + base_url="http://localhost:11434/v1" + 任意占位 api_key。

      Agent 入口见 LangChain 快速上手；RAG 见 RAG 检索增强。1.0 的 provider:model 字符串若支持 ollama:gemma4 一类写法，以你安装的集成包为准。

      from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="gemma4",
    base_url="http://localhost:11434/v1",
    api_key="ollama",
)

      Hermes 与 OpenClaw

      自托管 Agent 把 Ollama 当本地（或 Cloud）后端即可，不必把密钥交给第三方聊天模型：

      交互菜单里的 Launch tools 与 ollama launch 会帮你写入对方需要的 URL / 模型名。仍失败时，用 curl 打 /v1/chat/completions 排除是 Agent 配置问题还是 Ollama 没在听。

      Cursor：自定义 OpenAI 兼容基址

      在 Cursor 的模型设置中增加 OpenAI compatible（或同等「自定义 API」）条目：

      项值
      Base URLhttp://localhost:11434/v1 或 http://localhost:11434/v1/
      API Key任意非空，例如 ollama
      Modelgemma4 或你 create 出的名字

      保存后开一个只走该模型的对话，确认回复来自本机（可同时看 ollama ps）。上下文窗口受 Ollama 默认值或 Modelfile num_ctx 限制，不要以为填了兼容层就自动 128k。

      Docker 网络：host.docker.internal

      布局容器内应填的基址
      App 容器 → 宿主机 Ollamahttp://host.docker.internal:11434
      与 Ollama 同一 compose 网络http://ollama:11434（服务名）
      都在同一台 Linux 且没有该 DNS启动 App 时 --add-host=host.docker.internal:host-gateway

      反例：在 Dify / LangServe 容器里写 http://localhost:11434，请求进了容器自己的 11434，而不是你的 GPU 盒子。

      Ollama 自己也在 Docker 时：

      docker run -d --name ollama -v ollama:/root/.ollama -p 11434:11434 ollama/ollama

      GPU 与 ROCm 参数见 安装与环境 和 Docker 文档。若还要把服务暴露给局域网，设置 OLLAMA_HOST 并配合防火墙，而不是裸对公网开放 11434。

      其他编辑器与 Agent

      VS Code、JetBrains、Continue、Cline、Zed 等大多支持「OpenAI 兼容 URL」。原则相同：v1 基址 + 真实模型名 + 先 pull。ollama launch vscode 可减少手改配置。

      权重来源、量化名词与 HF 页面之间的关系，见 Hugging Face。

      联调检查单

      1. 宿主机：curl http://localhost:11434/api/tags 有模型列表
      2. 兼容层：POST /v1/chat/completions 返回 choices[0].message
      3. 容器：从 App 容器 curl http://host.docker.internal:11434/api/tags
      4. 名称：Dify / Cursor / Agent 里的模型字符串与 ollama ls 逐字相同

      下一步

      评论