Ollama 指南：本地运行、模型选择、UI 增强及 Copilot 替代方案

如果看到版本信息，说明 Ollama 已成功安装。

运行模型

安装完 Ollama 后，运行模型就像呼吸一样简单。以 deepseek-r1 8b 为例：

Ollama 会自动检测你是否已下载该模型。如果没有，它会先帮你下载（可能需要一些时间，取决于模型大小和你的网络速度），然后启动模型。

Ollama 常用命令

Ollama 主要通过命令行界面 (CLI) 进行操作。以下是一些常用的命令：

• ollama run <model_name>[:tag]: 这是与模型开始交互的最直接方式。如果模型尚未下载，该命令会自动下载并运行指定的模型。例如，要运行 deepseek-r1 模型，只需输入 ollama run deepseek-r1:8b。
• ollama pull <model_name>[:tag]: 如果你只想下载模型以备后用，可以使用此命令。例如，ollama pull deepseek-r1:8b 会下载 deepseek-r1 模型。
• ollama list: 列出你本地已经下载的所有模型及其大小和下载时间。
• ollama ps: 显示当前正在运行（已加载到内存中）的模型。
• ollama rm <model_name>[:tag]: 删除本地指定的模型。例如，ollama rm deepseek-r1:8b。
• ollama cp <source_model> <destination_model>: 复制一个已存在的本地模型为新的模型，方便进行修改和实验。
• ollama create <custom_model_name> -f <Modelfile_path>: 根据指定的 Modelfile 创建自定义模型。Modelfile 允许你定义模型的参数、系统提示等。例如，ollama create mymodel -f./Modelfile。
• ollama show <model_name>[:tag]: 显示指定模型的详细信息，包括其 Modelfile 内容、参数等。
• ollama help: 显示帮助信息或特定命令的帮助文档。

Ollama 支持的模型：你的本地模型库

Ollama 的一大魅力在于其对众多开源 LLM 的广泛支持。你可以在 Ollama 的官方模型库 (ollama.com/library) 中找到不断更新的完整列表。以下是一些热门且常用的模型类别和代表：

• 通用聊天与文本生成模型:
  • Llama 系列 (Llama 2, Llama 3, Llama 3.1, Llama 3.2): 由 Meta 开发，性能强大，是最受欢迎的模型系列之一。
  • Mistral: Mistral AI 推出的高性能模型，以其效率和强大的能力著称。
  • Gemma / Gemma 2 / Gemma 3: Google 开发的轻量级、高性能模型系列。
  • Phi 系列 (Phi-3, Phi-4): 微软推出的高性能小型语言模型，推理能力强。
  • Qwen 系列 (Qwen, Qwen2, Qwen2.5, Qwen3): 阿里巴巴开发的多功能模型系列，支持多语言和工具使用。
  • Vicuna: 基于 Llama 优化的聊天模型，表现出色。
  • Orca-Mini / Mistral-OpenOrca: 专注于指令遵循和推理的模型。
• 代码生成与辅助模型:
  • CodeLlama: Meta 专门为代码生成和解释训练的模型。
  • DeepSeek-Coder: DeepSeek AI 推出的专注于编码的模型。
  • WizardCoder: 专注于 Python 代码生成的模型。
  • Qwen2.5-Coder: Qwen 系列中专注于代码的模型。
  • Codestral: Devstral 推出的优秀代码模型。
• 视觉与多模态模型:
  • LLaVA: 结合视觉编码器和语言模型的代表性多模态模型。
  • Llama 3.2 Vision / Llama 4: Meta 推出的具备视觉理解能力的多模态模型。
  • Gemma 3 Vision: Google Gemma 系列中支持视觉输入的模型。
  • Qwen 2.5 VL: Qwen 系列中的视觉语言模型。
• 嵌入模型 (Embedding Models):
  • Nomic Embed Text: 用于生成文本嵌入的高性能模型。
  • MXBAI Embed Large: Mixedbread.ai 推出的优秀嵌入模型。

选择合适的模型取决于你的具体需求（例如，是进行通用聊天、代码生成还是特定领域的问答）以及你的硬件配置（特别是 RAM 和 VRAM 大小）。Ollama 通常会提供不同参数大小的模型版本，你可以根据自己的设备情况进行选择。

模型精度与内存占用计算

本地运行 LLM 时，最重要的考量之一就是内存占用，尤其是显存 (VRAM)。模型的大小和它的量化精度直接决定了所需的内存。

什么是量化？

量化是指将模型中的浮点数（通常是 16 位或 32 位）转换为更小的整数格式（如 8 位、4 位甚至 2 位），从而显著减小模型体积，降低内存和计算资源需求。当然，这也会对模型的性能产生轻微影响，但对于本地部署而言，通常是一个可以接受的权衡。

Ollama 广泛使用 GGUF (Georgi Gerganov Unified Format) 格式的模型，这是一种为本地 LLM 优化而设计的格式，支持多种量化级别。

内存占用计算方式

内存占用计算方式：

运行模型时的内存占用（RAM 或 VRAM）比模型文件大小更复杂，因为它不仅包括模型权重，还包括：

1. 模型权重 (Model Weights)：这是主要部分，与量化后的文件大小密切相关。
2. KV 缓存 (Key-Value Cache)：在生成文本时，模型需要存储先前 token 的键值对，以便在自注意力机制中计算。KV 缓存的大小取决于：
   • 上下文长度 (Context Length/num_ctx)：上下文越长，需要缓存的 token 越多。
   • 批处理大小 (Batch Size)：同时处理的序列越多，KV 缓存越大。
   • 模型隐藏层维度和层数。
   • KV 缓存本身也可以被量化（例如，q8_0 或 q4_0），但这通常需要启用 Flash Attention 等特性。
3. 激活值和临时缓冲区 (Activations and Temporary Buffers)：计算过程中产生的中间值。
4. Ollama 及后端开销：Ollama 本身及其使用的推理引擎（如 llama.cpp）也会占用一定的内存。

一个粗略的 VRAM/RAM 估算规则 (针对模型权重部分)：

• f16：参数量 (B) × 2 ≈ GB
• q8_0：参数量 (B) × 1 ≈ GB
• q4_K_M (或类似 4 位)：参数量 (B) × 0.5 + 少量额外开销 ≈ GB

总内存占用会显著高于仅模型权重所需的内存，特别是当上下文窗口较大或并发用户较多时。例如，一个 13B 模型用 f16 可能需要 26GB 存储权重，但加上 KV 缓存（比如 10 个并发用户，2000 token 上下文）可能轻易超过 100GB。 对于本地 Ollama 使用，通常是单个用户，但上下文长度依然是重要因素。

参数与内存占用关系的大致表格

下表提供了一个基于模型参数量和常见量化方式的大致内存占用（主要指模型权重加载到内存中）和推荐系统内存的参考。请注意，这些数值是近似值，实际需求会因具体模型、上下文长度设置 (num_ctx)、并发请求以及 KV 缓存等因素而变化。

第三方 UI 支持：让 Ollama 更易用、更美观

虽然 Ollama 的 CLI 功能强大，但对于一些用户来说，图形用户界面 (GUI) 可能更加友好和直观。以下是一些广受欢迎的 Ollama Web UI：

• Cherry Studio: AI 模型聚合客户端，支持多种官方 API 及本地部署的 Ollama 模型，界面美观，功能丰富。

• Open WebUI: (曾用名 Ollama WebUI) 一款功能丰富、用户友好的自托管 Web UI，支持离线操作，界面风格类似 ChatGPT，提供包括 RAG、模型管理在内的多种高级功能。

• Lobe Chat: 一个注重本地运行和用户隐私的 UI 框架，界面设计时尚现代化，支持通过插件系统扩展功能，并可以作为 PWA 应用使用。

• 追求功能全面、类似线上 ChatGPT 体验：Open WebUI 是首选，它功能强大，社区活跃，并且持续更新。

• 注重界面美观、多 API 聚合管理：Cherry Studio 和 Lobe Chat 都是不错的选择，前者在聚合多种商业和本地模型方面有优势，后者则以时尚的 UI 和插件扩展性为特点。

Github Copilot 替代

使用 Continue 实现本地代码辅助

GitHub Copilot 无疑是代码辅助的利器，但如果你追求数据隐私或希望完全掌控所使用的模型，Ollama 结合 Continue 是一个绝佳的本地替代方案。

本地化优势:

• 隐私: 你的代码和提示都保留在本地，无需发送到云端，这对于处理敏感项目或有严格数据保密要求的公司来说至关重要 。
• 离线工作: 即使没有网络连接，你依然可以使用本地代码助手 。
• 成本: 完全免费，只需你的本地硬件资源。
• 定制化: 你可以根据自己的需求选择和切换不同的代码模型，甚至使用 Modelfile 对模型的行为进行微调 。

虽然本地模型的性能可能在某些方面与顶级的云端代码助手（如最新的 GPT-4 驱动的 Copilot）相比仍有差距，特别是对于非常复杂的任务或需要海量上下文理解的情况 。但对于许多日常编码任务、快速原型验证和学习新语言/框架而言，基于 Ollama 的本地代码助手已经足够强大和实用。随着开源模型和 Ollama 本身的不断进步，本地代码辅助的能力也在持续增强。

什么是 Continue？

Continue 是一个开源的 VS Code 插件，它允许你连接到各种本地或远程的 LLM 服务，提供代码自动补全、代码生成、重构、问答等功能，功能与 GitHub Copilot 和 ChatGPT 类似，但可以完全在本地运行。

配置 Ollama 与 Continue

以下是如何设置 Ollama 和 Continue 来实现本地 Copilot 功能的步骤：

1. 选择合适的代码模型： 首先，你需要从 Ollama 支持的模型中选择一个擅长代码生成的模型。例如 codellama, deepseek-coder, qwen2.5-coder, codestral 或 phi-3 等都是不错的选择 。可以通过 ollama pull <model_name> 下载

2. 拉取代码生成模型： Ollama 库中有一些专门为代码任务优化的模型，例如：

   • CodeLlama (如 codellama:7b-instruct)
   • DeepSeek Coder (如 deepseek-coder:7b-instruct)
   • Qwen (如 qwen:7b-chat)
   • WizardCoder (如 wizardcoder:7b-python)

   通过以下命令拉取：

   bash

   ollama pull codellama:7b-instruct
   ollama pull deepseek-coder:7b-instruct
   # 根据你的需求选择其他模型
   

3. 安装 Continue VS Code 插件： 在 VS Code 扩展市场搜索 "Continue"，然后点击安装。

4. 配置 Continue 连接到 Ollama： 安装 Continue 插件后，它会自动打开一个 config.json 文件（或点击左侧边栏的 Continue 图标，然后点击齿轮图标进入设置）。你需要修改 models 部分来连接到 Ollama。

   这是 config.json 的一个示例配置：

   json

   {
     "models": [
       {
         "title": "Ollama",
         "provider": "ollama",
         "model": "AUTODETECT"
       }
     ],
     "tabAutocompleteModel": {
       "title": "qwen2.5-coder:7b",
       "provider": "ollama",
       "model": "qwen2.5-coder:7b"
     },
     "tabAutocompleteOptions": {
       "debounceDelay": 1000,
       "maxPromptTokens": 1500
       // "disableInFiles": ["*.md"]
     }
   }
   

   • name：这是你在 Continue 插件中看到和选择的模型名称。
   • base_model：这必须与你在 Ollama 中运行的实际模型名称（例如 qwen2.5-coder:7b）完全匹配。
   • provider：设置为 ollama。
   • api_base：Ollama 服务的默认地址是 http://localhost:11434。

5. 在 VS Code 中使用 Continue：

   • 配置完成后，Continue 插件会自动加载你的 Ollama 模型。
   • 在 VS Code 编辑器中编写代码时，Continue 会根据你的上下文提供代码自动补全建议。
   • 你可以通过快捷键（通常是 Ctrl+L 或 Cmd+L）打开 Continue 的侧边栏，直接向模型提问、生成代码、重构代码等。

性能优化建议

1. 调整 VSCode 插件设置：通过减少补全触发频率和调整上下文长度，平衡性能和补全质量。

参考链接

• Ollama docs
• Qwen2.5-Coder
• Continue