LogoOllaMan 文档

上下文长度与占用

设置模型能记住多少内容,并查看对话占用了多少

概述

每个模型都有一个上下文窗口:一次能处理的最大 token 数,包括系统提示词、对话历史、附件和模型的回复。对话超出窗口后,Ollama 会静默丢弃最早的内容,模型就"忘记"了这部分。

OllaMan 从两方面帮你管理上下文:

  • 上下文长度:按智能体或按对话设置窗口大小
  • 上下文占用环:每次回复后查看窗口的使用情况

查看上下文占用

上下文占用环位于聊天输入框底部、Agent Mode 按钮右侧。选择模型后出现,随着对话变长逐渐填满。

看颜色

环的颜色表示窗口的使用程度:

  • 灰色:空间充足
  • 琥珀色:已使用 80% 以上,窗口即将用满
  • 红色:已使用 95% 以上,较早的消息可能已被截断

悬浮查看详情

把鼠标悬浮在环上(或用键盘聚焦),会打开详情面板,显示:

  • 使用百分比,以及已用 token / 上限
  • 输入:系统提示词、历史消息和最新提问占用的 token
  • 回复:模型最新回复占用的 token
  • 剩余:还可使用的 token

每次回复后更新

占用数据来自 Ollama 对最新一次回复的统计,因此会话收到第一条回复后才会显示。在 Agent Mode 或网页搜索中,显示的是该回复最后一步的占用。

如果面板提示服务器未返回上下文上限,说明使用的是 Ollama 自身的默认值,此时只显示 token 数量。


设置上下文长度

当前对话

打开对话设置

点击对话页面顶部工具栏右侧的设置按钮显示右侧面板,然后切换到设置标签。

选择上下文长度

在上下文长度中选择一个值。选项不会超过模型支持的最大长度,最大值会标注"(模型上限)"。

继续对话

新长度从下一条消息开始生效,只保存在当前对话中。

作为智能体的默认值

打开智能体的编辑面板(在智能体视图中右键该智能体,选择编辑),设置上下文长度。之后与该智能体的新对话都会使用这个值,除非对话中另行设置。

自动

**自动(服务器默认)**表示不传任何值,由 Ollama 决定:如果设置了 OLLAMA_CONTEXT_LENGTH 就使用它,否则根据可用显存选择默认值。

窗口越大,代价越高

上下文窗口越大,占用的内存越多;修改长度还会让 Ollama 重新加载模型。如果模型放不进显存,可能会部分运行在 CPU 上,速度明显下降。建议逐步调大,并留意 Token 速率。


窗口快满时怎么办

占用环变成琥珀色或红色时:

  • 调大上下文长度(在内存允许的情况下)
  • 新开一个对话,只粘贴需要的摘要
  • 附加更小的文件,或只附加相关部分
  • 使用网页搜索时,调低每次结果数,让结果更精简

常见问题


下一步