大型语言模型 (LLM) 已经彻底改变了我们与技术互动的方式。但你是否知道,无需强大的云服务器,你也能在自己的电脑上运行这些模型?Ollama 正是为此而生!它让在本地机器上运行、创建和管理各种开源大模型变得前所未有的简单。
本文将带你全面了解 Ollama,从常用命令到支持的模型,如何安装、理解模型对内存的占用,再到如何通过第三方用户界面 (UI) 提升体验,甚至是如何将其打造成 GitHub Copilot 的本地替代品。
为什么选择 Ollama?
- 本地运行,数据隐私:所有数据都在你的机器上处理,无需上传到第三方服务器,这对注重隐私的个人用户和企业至关重要。
- 离线可用:一旦模型下载到本地,即使没有网络连接也能正常工作。
- 简单易用:Ollama 提供了简洁的命令行工具和 API,让模型的下载、运行和定制变得异常简单。
- 硬件友好:通过对模型进行量化(例如 GGUF 格式),Ollama 能够充分利用 CPU 甚至集成显卡,让更多人能在普通笔记本上体验 LLM。
- 丰富的模型库:Ollama 社区维护着一个不断增长的模型库,包括 Llama 2、Mistral、CodeLlama、Gemma 等流行模型。
Ollama 安装方法
安装 Ollama 非常简单,支持 macOS、Linux 和 Windows。
macOS
直接访问 Ollama 官网下载安装包:
使用 Homebrew 安装 Ollama:
bashbrew install ollama
或者
- 前往 ollama.com/download。
- 点击 "Download for macOS"。
- 下载完成后,双击
.dmg
文件,将 Ollama 拖拽到 "Applications" 文件夹即可。
Linux
运行命令:
bashcurl -fsSL https://ollama.com/install.sh | sh
Windows (预览版)
Windows 版本目前处于预览阶段,但安装同样简单:
- 前往 ollama.com/download。
- 点击 "Download for Windows"。
- 下载
.exe
安装程序并运行,按照提示完成安装。
验证安装
安装完成后,打开终端(或命令提示符),运行以下命令:
bashollama --version
如果看到版本信息,说明 Ollama 已成功安装。
运行模型
安装完 Ollama 后,运行模型就像呼吸一样简单。以 deepseek-r1 8b 为例:
bashollama run deepseek-r1:8b