LogoOllaMan 文档

导入本地 GGUF 文件

将磁盘上的 .gguf 文件注册为 Ollama 模型

概述

如果你磁盘上已经有了 .gguf 文件——U 盘拷贝、同事分享、离线/内网机器预置,或由其他工具下载——你可以直接把它注册成 Ollama 模型,无需从网上下载。


如何导入

打开已安装页面

点击侧边栏中的 已安装,打开本地模型列表。

点击导入

点击页面顶部工具栏中的 导入 按钮。

选择 GGUF 文件

在导入对话框中,点击文件选择器并选择一个本地 .gguf 文件。你可以保留建议的模型名称,也可以输入自定义名称。

开始导入

点击 导入。OllaMan 会把文件上传到你连接的 Ollama 服务器并创建模型。进度显示在下载管理器中,和普通下载一样可以随时取消。

导入完成后

导入完成后,模型会出现在 已安装(本地模型)中,可以立即开始聊天。


导入到远程服务器

本地导入会把原始文件上传到当前连接的 Ollama 服务器。如果当前服务器是远程主机,对话框会给出警告——文件会通过网络上传到那台远程机器,对于数 GB 的大文件可能会比较慢。

为了最快的导入体验,建议先切换到本地 Ollama 服务器再进行导入。


选择量化级别

当你手上有多个 GGUF 文件可选时,请选择与你的硬件匹配的版本:

  • Q8_0 — 最高质量,文件最大
  • Q6_K / Q5_K — 质量优秀,压缩良好
  • Q4_K_M / Q4_0 — 最受欢迎的大小与质量平衡点
  • Q3 / Q2 — 最小,准确度降低

对于大多数用户,Q4_K_M 是最佳选择。如果你的内存充足并想要最高保真度,请选择 Q8_0


下一步