OllaMan 文档Hugging Face GGUF 模型
浏览、下载和导入来自 Hugging Face 的 GGUF 模型
概述
OllaMan 支持从 Hugging Face 导入 GGUF 模型——一个庞大的量化模型文件开放仓库。这让你能使用的模型远不止官方 Ollama 仓库。
将 Hugging Face GGUF 模型导入 OllaMan 有两种方式：
1. GGUF 模型市场
浏览和搜索 Hugging Face GGUF 模型目录，然后一键下载
2. 手动 URL 导入
在下载页面粘贴 Hugging Face 模型路径或文件链接
GGUF 模型市场
GGUF 页面是专门用于浏览 Hugging Face GGUF 模型的视图。
打开 GGUF 页面
点击侧边栏中的 GGUF。
浏览与搜索
你可以通过多种方式查找模型：
- 搜索：输入模型名称、来源或量化格式（如
qwen、Q4_K_M） - 按能力筛选：将结果缩小到 文本、视觉、代码 或 音频
- 按模型类型筛选：只显示特定家族（Llama、Mistral、Qwen 等）
- 排序：按 最多下载、最多收藏 或 最新
向下滚动时会自动加载更多结果。
查看模型卡片
每张卡片一目了然地展示关键信息：量化格式、文件大小、下载量与收藏数，以及所需的 GPU / 最低内存。点击任意卡片可打开其 详情页，其中包含完整的模型介绍、许可证、参数规模，以及仓库提供的每个 GGUF 变体。
下载模型
打开模型详情
点击模型卡片打开其详情页。
选择 GGUF 变体
在 GGUF 变体 列表中，选择与你的硬件匹配的文件（见下方 选择量化级别）。
点击下载
点击变体旁的 下载。进度显示在右下角的下载管理器中，与其他模型一样。完成后，模型会出现在 已安装（本地模型）中。
手动 URL 导入
如果你已经心中有特定的 Hugging Face 模型，可以直接从 下载 页面导入。
打开下载页面
点击侧边栏中的 下载。
点击"拉取模型"
点击右上角的 拉取模型 按钮。
输入模型引用
输入框除了标准的 Ollama 名称外，还接受多种 Hugging Face 格式：
| 你输入的内容 | 示例 | 结果 |
|---|---|---|
| 模型短路径 | hf.co/user/repo | 下载模型默认的 GGUF |
| 短路径 + 量化 | hf.co/user/repo:Q8_0 | 下载指定的量化版本 |
| .gguf 文件链接 | https://huggingface.co/user/repo/resolve/main/model-Q4_K_M.gguf | 下载该指定文件 |
| 完整文件名作为标签 | hf.co/user/repo:model-Q4_K_M.gguf | 下载该指定文件 |
输入框下方有提示显示识别出的格式，方便你在拉取前确认。
点击拉取
点击 拉取。模型开始下载，完成后出现在 已安装（本地模型）中。
仅支持 Hugging Face 链接
链接必须指向 Hugging Face——huggingface.co、hf-mirror.com 或 hf.co/user/repo 短格式。指向其他主机的链接无法拉取，会被拒绝并给出明确错误。
选择量化级别
当一个仓库提供多个 GGUF 文件时，请选择与你的硬件匹配的版本：
- Q8_0 — 最高质量，文件最大
- Q6_K / Q5_K — 质量优秀，压缩良好
- Q4_K_M / Q4_0 — 最受欢迎的大小与质量平衡点
- Q3 / Q2 — 最小，准确度降低
对于大多数用户，Q4_K_M 是最佳选择。如果你的内存充足并想要最高保真度，请选择 Q8_0。
Hugging Face 镜像设置
如果官方 Hugging Face 站点在你所在地区缓慢或被屏蔽，可以切换到镜像或添加自己的镜像。
打开设置
进入 设置 → Hugging Face。
选择访问源
- 自动选择（默认）— OllaMan 优先尝试官方 Hugging Face，不可达时自动回退到镜像。适合大多数用户。
- 指定访问源 — 始终使用你在下方选择的端点。适合你已知道哪个镜像在你的网络上可用的情况。
选择或添加端点
内置两个访问源：
- Hugging Face —
https://huggingface.co - HF-Mirror —
https://hf-mirror.com
点击任意端点旁的 测试 检查连通性和延迟。要添加自己的镜像，在 自定义访问源 下填写 名称 和 访问地址，然后点击 添加访问源。
所选访问源影响哪些功能？
所选访问源用于 浏览 GGUF 市场 以及 从市场下载模型。而在下载页面通过 URL 手动导入时，使用的域名取自你粘贴的链接——因此你可以用 hf-mirror.com 链接让单次导入走镜像，与这里的设置互不影响。
何时使用镜像
- 官方站点在下载时缓慢或超时
- Hugging Face 在你的网络上被屏蔽或不稳定
- 你的组织运行内部镜像
受限（Gated）模型
某些仓库限制对其模型文件的访问。当你尝试拉取时，OllaMan 会显示提示，说明该模型需要授权。
要拉取受限或私有模型：
- 在 huggingface.co 打开该模型，接受任何条款并申请访问
- 将你的 Ollama 公钥（
~/.ollama/id_ed25519.pub）添加到 Hugging Face 的 SSH Keys - 在 OllaMan 中点击 我已配置，继续拉取